國內首個視頻垂直大模型發布!一句話生成科幻大片預告 人人可玩
只靠一句話,AI就能做一支科幻電影預告片。
腳本、每幀畫面、背景音樂,AI都能生成。
這就是國內首款視頻垂直大模型新壹視頻大模型帶來的現場首秀。
由該模型作為底座的AIGC視頻平臺一幀秒創,同步推出,現在可直接體驗。
不僅是用AI生成畫面,這個平臺還能實現圖文轉視頻、AI幫寫、插入數字人等。
在過去半年試運營中,該平臺每天產出超出10萬分鐘視頻,積累了200多萬用戶。
同時還推出了數字人創作平臺,24小時內就可以訓練好一個數字人。
在發布現場,還有投資人任泉還來幫忙站臺,強調正在視頻領域發生的新技術革新。
所以,這個視頻大模型什么來頭?
首個垂直視頻大模型?
發布會介紹,新壹大模型是一個以視頻為核心的多模態AIGC模型。
通過對海量視頻樣本的學習,具有幾大關鍵能力:
多模態感知實時學習自迭代多場景交叉推理
由此它能理解文字的含義、識別圖像內容、感知音樂情緒,然后生成視頻。
在發布會現場的演示中,最開始給新壹大模型的僅僅是一句主題:
人類駕駛地球、離開太陽系、并遇到危險。
然后就看到大模型很快理解了意思,輸出了10個鏡頭的腳本,都非常契合主題。
下一步,再基于生成文字內容,大模型又給出了10個分鏡頭。
從現場效果里可以看出,每一個鏡頭給出的畫面,和文字的對應也很緊密。
比如鏡頭八的腳本是“一位科學家站起來,他的眼神堅定”。
畫面上就給出了一位穿太空服的男性,皺緊眉頭,眼神堅定。
再要求AI配一段“大氣磅礴、有重低音和交響樂團的元素,給我一種踏上新征程的感覺”。
最后把生成的所有素材一結合,就有了一個完整的科幻預告片。
據介紹,新壹視頻大模型采用了自監督學習方案,會觀察和學習大量的視頻數據,通過分析視頻的結構、內容、風格等多個維度,自我理解和把握視頻制作的規則和邏輯。
而且能跨場景進行知識遷移與關聯,選擇合適素材,調整視頻風格;還可面向行業級的垂直場景對新壹視頻大模型做定向訓練。
在現場,新壹方面也強調,大模型中關于視頻理解、匹配輸出的部分,均是由自研技術支撐。
而以該模型為底座的座的AI內容生成平臺一幀秒創,也正式發布。
它能提供圖片生成、視頻生成、聲音生成、數字人生成等任務。
并提供了一個千萬級的結構化視頻庫,可以精準匹配素材。
比如在現場演示中,通過平臺制作一個“夏日防暑小妙招”的視頻,同樣是AI自己生成文案、匹配素材。
除了視頻制作方面,同步亮相的還有一個數字人平臺。
據介紹,通過多模態合成AI技術,該平臺可以將真人錄制的視頻和音頻素材,快速生成2D寫實數字人。
基于新壹視頻大模型, 24內小時即可完成一個數字人的訓練。通過融合通用語言模型、音視頻生成技術,能夠快速、低成本的生成真人播報視頻和直播。
結合該技術,還有一個名為“秒祝”的明星數字人祝福視頻制作產品發布。它可以還原明星的聲音和形象,制作出對應數字人,并生成個性化定制祝福視頻。
那么問題來了:
帶來這一系列AIGC領域新動向的玩家,到底是誰?
視頻行業20年老玩家出手
如上一系列新技術、新產品的幕后玩家,名叫新壹科技。
公開信息顯示,新壹科技注冊于2022年1月,是一家非常年輕的創業公司。
但是他們的團隊,其實是在視頻行業中摸爬滾打20多年的老玩家,曾多次站在視頻風口浪尖:如此前大火的秒拍、小咖秀,都是該團隊推出的產品。更早之前,則是中國首個上市的視頻公司酷六網。
新壹科技創始人、董事長為韓坤,CEO為雷濤。
△新壹科技創始人、董事長韓坤
這一次召開發布會,用新壹自己的話來解釋,就是要在AIGC的時代下,重新出發。
那么,為什么要做大模型?
有直接需求、行業影響和新壹自身三方面要素。
首先是用戶需求方面。
作為視頻行業的資深玩家,新壹注意到在社交平臺極度發達的今天,很多人都有輸出自己觀點的需要。以及目前人們上網瀏覽的大部分信息都是視頻模式,但是互聯網信息中轉換為視頻的部分,占比卻并不多。
所以,一個低門檻的視頻創作平臺,是有巨大市場需求的。
新壹科技CEO雷濤舉例說,比如很多人對于一些事情都想發表觀點,但是他可能不愿意或者沒有時間自己出鏡,這時如果他有一個數字人可以幫他出鏡,再有工具能快速剪輯視頻,就能很好滿足這部分人需求。
這也是新壹反復強調的一個點:AIGC時代下有技術是不夠的,還要能提供直接使用的場景,這樣技術才能被更高頻率、更大范圍地應用起來,而在這方面,垂直領域玩家具有先天的自身優勢——本身就更懂市場需求。
其次是行業方面。
作為經歷了互聯網視頻產業崛起的玩家,雷濤認為目前產業內的各方面要素已發展相對成熟,如手機硬件、軟件、網絡等,都能很好支撐互聯網視頻產業。
在這樣的前提下,AIGC相關的項目是很容易做成的,“只要人工智能可以起來就夠了”。
作為一直都有技術積累的視頻玩家來說,在這方面就會具備一定優勢。
這也是新壹為什么做大模型的第三點原因——自身積累。
基于過去在行業內的20年積累,新壹在視頻方面積累了深厚的技術和經驗。新壹董事長韓坤發布會上也非常自豪地表示,“我們培養出了一支代碼技術過硬的工程師團隊,形成了良好的產品服務意識。”
同時雷濤表示,新壹做大模型,并不是重復造輪子。他們的技術底座中,視頻方面主要依靠自研,但是在圖像、TTS等領域,也會集成業內的優秀成果。
我們是用另一種方式提供工程化的創新。就好比造車一樣。
△新壹科技CEO雷濤
但現在就已經是AIGC產品應用開發的最佳時機了嗎?新壹為何在這樣一個時間點正式對外推出?
雷濤也從技術和行業兩個方面給出了解釋。
技術上,他認為AI領域的各種創新,不會存在一個所謂的成熟期,技術一直在不斷迭代優化。新壹從現在出發,之后也會不斷在技術上進行迭代。
再結合行業現狀,AIGC熱潮如今略有降溫,但雷濤認為這并不是一件壞事。因為只是看熱鬧的人已經走了,剩下的則是對AIGC有真正需求的人,而這部分人現在對AI的胃口已經被吊起來了。
所以在這個時間節點下,他們對外發布新壹視頻大模型,并帶來一幀秒創制作平臺。
值得一提的是,在發布大模型相關產品的同時,他們還推出了一個數字人平臺。
要知道,數字人技術熱潮比AIGC更早,賽道內的玩家數量眾多,新玩家新壹并不具有先發優勢。
雷濤解釋說,基于新壹自身在視頻、娛樂產業方面的積累,他們看到在這方面其實有非常明確的商業模式,比如給明星制作數字人讓它幫忙帶貨。
在發布會現場,不僅是任泉本人來給新壹站臺,還有多位明星送來了祝福視頻。
并且新壹使用了更加先進的技術,價格也不高(售價可低至千元價位),所以現在加入數字人賽道,新壹同樣有自身獨特優勢。作為這種技術成本和應用的能力,新壹還宣布了與新浪微博的合作,將為金V用戶提供專門數字人。
實際上,在秒拍和一直播風靡的周期里,與新浪微博也始終密切相關。
但關于新壹科技的投融資,還尚未到對外官宣的時候,不過CEO雷濤透露,進度各方面都比較順利,不少投資人也看到了AIGC正在對視頻領域展開的技術革新,而新壹這支團隊穿越多個周期、潮起潮落、久經考驗。
有意思的是,這其實也是韓坤雷濤這支視頻老兵團隊時隔多年的再度公開亮相,但地點都是北京東三環的康德萊酒店。
上一次,2017年在這里,秒拍一直播母公司一下科技宣布了新一輪巨額融資,震動江湖。
這一次,韓坤站在臺上,表達著一直站在創業路上的原因——對視頻內容的熱愛,而新壹則是這種熱愛的延續和新的開始。
“新的開始,壹定成功。”
本站所有文章、數據、圖片均來自互聯網,一切版權均歸源網站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱:business@qudong.com