首個中文原生DiT架構!騰訊混元文生圖大模型宣布全面開源
來源:快科技 編輯:非小米 時間:2024-05-14 16:30人閱讀
快科技5月14日消息,今日,騰訊旗下混元文生圖大模型(混元DiT,Diffusion Models with Transformers)宣布全面開源。
目前已在Hugging Face、Github上發布,包含模型權重、推理代碼、模型算法等完整模型,供企業與個人開發者免費商用。
據媒體報道,騰訊混元文生圖負責人盧清林表示,混元DiT開源的價值有兩方面。
一方面這是業內首個中文原生DiT架構,彌補了開源社區的空白,另一方面混元DiT為全面開放,與現網版本完全一致。
據介紹,此次開源的混元DiT采用了與Sora同樣的背后關鍵技術——DiT架構,還支持256字中文理解,不僅支持文生圖,也可作為視頻等多模態視覺生成的基礎。
騰訊方面表示,為了構建混元DiT設計了Transformer結構、文本編碼器和位置編碼,構建了完整的數據管道,用于更新和評估數據,為模型優化迭代提供幫助。
為了實現細粒度的文本理解,還訓練了多模態大語言模型來優化圖像的文本描述。
最終,混元DiT能夠與用戶進行多輪對話,根據上下文生成并完善圖像。
分享到:
本站所有文章、數據、圖片均來自互聯網,一切版權均歸源網站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱:business@qudong.com