周鴻祎稱Sora生成視頻堪比CG:未做3D建模 只需文字就可逼真描繪
快科技2月18日消息,今日,周鴻祎再次談到Sora視頻模型,他表示Sora生成視頻堪比CG。
周鴻祎發視頻稱,Sora有三個片段讓他覺得非常驚訝。其中一個是一堆金毛小狗在雪地里打滾兒,狗狗用鼻子拱雪,甚至一粒一粒的雪粒都能感覺到,他感覺這個畫面非常真實。
他認為,對比Pika和Runway是做不出這樣效果的。Pika和Runbway實際上是基于圖形圖像本身的操作來進行生成。只是形成一種比較簡單的計算機動畫的效果。
周鴻祎說:“即使是用常規呢計算機CG電影工業特效來看這三個畫面,那也會非常難做,但是到了Sora這里,這些細節都會變得非常簡單,只要給出一些文字的提示要求,就能逼真描繪出來”。
他認為,Sora是沒有做3D建模的。如果Sora也只是用3D建模再進行渲染,那么這和傳統的電影工業走的是一樣的路,這樣就不具備顛覆性和革命性了。
周鴻祎猜測Sora做到如此效果有三點原因:
1、Sora模擬了人類觀察、描繪、表現世界的方法。如果人類畫師用筆畫出來這三個場景,人類的大腦里不需要3D建模,因為人類對世界有基本認知。人類可以隨意想象出自己要做的事,可以控制自己所想。
2、Sora在學習的過程中,用了很多視頻、電影的內容來作為訓練輸入。當輸入一些畫面,不僅要解讀出畫面的元素,還要解讀出一些物理定律。
openAI的論文中曾提到recaptioning技術,意思是對每一幀畫面都能夠用文字來描述。這點也正符合人類認知世界的方法。
3、openAI產生了很多3D內容。不排除它用現在游戲引擎做了很多實時3D模型的渲染,再利用這些3D模型把更多的物理知識訓練給Sora。
周鴻祎表示,Sora是記錄文生視頻AIGC的工具,它反映了AI對世界的理解,是從文字進入圖像,再從圖像展示對這個世界3D模型的理解。
本站所有文章、數據、圖片均來自互聯網,一切版權均歸源網站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱:business@qudong.com