離大譜?。〔豢匆曨l完整版誰知道里面的美少女竟是一位大叔。

好嘛，原來這是用了快手可靈團隊的可控人像視頻生成框架——LivePortrait。

LivePortrait開源即爆火，短短時間已在GitHub狂攬7.5K星標。

還引來HuggingFace首席戰略官Thomas Wolf親自體驗：

甚至目前仍在HuggingFace全部應用里排在趨勢第一：

所以，為啥LivePortrait能夠瘋狂引人關注?

還得從它讓人眼前一亮的表現說起……

讓表情“移花接木”

LivePortrait由快手可靈大模型團隊開源，只需1張原圖就能生成動態視頻。

先來看一組官方輸出。

從最簡單的開始，丟一張靜態圖像，LivePortrait可以讓肖像眨眼、微笑或轉頭。

還可以施展“移花接木”，也就是將表情、動態等復制到其他人身上，還是不限風格（寫實、油畫、雕塑、3D渲染）和尺寸那種~

當然了，這種“魔法”不限于單人，搞個全家福也不是不行。[doge]

除了從靜態圖→視頻，我們還可以讓一個或多個視頻實現“笑容增加術”。

比如提供一段寶寶沒有表情的視頻（最右側），我們可以讓寶寶按照參照視頻wink或微笑。

對了，不僅限于人物肖像，小貓小狗也能開始撒嬌賣萌了。

總之，LivePortrait可以實現人物表情精確控制，比如嘴角上揚的弧度，雙眼放大程度都能開啟自選。

舉個栗子，下面這兩個是不同參數設置下，人物眼睛大小的變化：

看來小說里的“三分涼薄,三分譏笑,四分漫不經心”也不是不能實現。[doge]

看完這些不知道你有沒有心動，反正網友們整活兒的心是擋不住了。

比如配個燈光花式扮鬼臉，有恐怖片那味兒了:

再比如實時化身二刺猿：

看完這些例子，接下來我們挖一挖背后的技術原理。

爆火開源框架

和當前主流基于擴散模型的方法不同，LivePortrait探索和擴展了基于隱式關鍵點的框架的潛力。

具體而言，LivePortrait不依賴于圖像中明確可見的標記或特征點，而是通過學習數據集中的模式來隱式地推斷出關鍵點的位置。

在此基礎上，LivePortrait通過兩個階段從頭開始訓練模型。

先說第一階段，LivePortrait對基于隱式點的框架（如Face Vid2vid），做了一系列改進。

這些改進包括高質量數據整理、混合圖像和視頻訓練、升級網絡架構、可擴展運動變換、地標引導的隱式關鍵點優化以及級聯損失項的應用等。

有了這些，模型的泛化能力、表達能力和紋理質量都能進一步提升。

再說第二階段，通過貼合模塊和重定向模塊的訓練，模型能夠更精確地處理面部表情的細節。

貼合模塊通過跨身份動作訓練增強泛化性，估計表情變化并優化關鍵點。

眼部和嘴部重定向模塊則分別處理眼部和嘴部的變形變化，通過獨立的目標函數計算像素一致性和正則損失，提升模型在復雜表情處理上的靈活性和精確度。

那么，LivePortrait具體表現如何呢？

研究顯示，在同身份驅動對比結果中，與已有方法相比，LivePortrait具有較好的生成質量和驅動精確度，可以捕捉驅動幀的眼部和嘴部細微表情，同時保有參考圖片的紋理和身份。

且在跨身份驅動對比結果中同樣表現較好，雖然在生成質量上略弱于基于擴散模型的方法AniPortrait。但與后者相比，LivePortrait具有極快的推理效率且需要較少的FLOPs。

總之，在RTX 4090 GPU上，LivePortrait的生成速度達到了每幀12.8毫秒，顯著高于現有的擴散模型方法。

One More Thing

補一條官方最新預告：可靈AI即將在全球范圍內推出其服務。

Sora還沒來，可靈這回倒是先走出去了~