0
剛剛，騰訊混元大模型公布最新進(jìn)展：正式上線視頻生成能力，這是繼文生文、文生圖、3D生成之后的又一新里程碑。與此同時(shí)，騰訊開源該視頻生成大模型，參數(shù)量130億，是當(dāng)前最大的視頻開源模型。
“用戶只需要輸入一段描述，即可生成視頻，”騰訊混元相關(guān)負(fù)責(zé)人透露，目前的生成視頻支持中英文雙語(yǔ)輸入、多種視頻尺寸以及多種視頻清晰度。目前該模型已上線騰訊元寶APP，用戶可在AI應(yīng)用中的“AI視頻”板塊申請(qǐng)?jiān)囉谩Ｆ髽I(yè)客戶通過騰訊云提供服務(wù)接入，目前API同步開放內(nèi)測(cè)申請(qǐng)。
通過騰訊元寶APP-AI應(yīng)用-AI視頻即可使用該功能（前期需申請(qǐng)）
在與國(guó)內(nèi)外多個(gè)頂尖模型的評(píng)測(cè)對(duì)比顯示，混元視頻生成模型在文本視頻一致性、運(yùn)動(dòng)質(zhì)量和畫面質(zhì)量多個(gè)維度效果領(lǐng)先，在人物、人造場(chǎng)所等場(chǎng)景下表現(xiàn)尤為出色。
騰訊混元視頻生成大模型制作出的視頻畫質(zhì)很逼真，內(nèi)容也與提示詞高度一致，確保畫面的流暢性，減少形變，甚至在提示詞是 emoji 表情的情況下，也可以穩(wěn)定輸出。
例如，在處理沖浪、舞蹈等包含大幅度動(dòng)作的場(chǎng)景時(shí)，該模型能夠生成流暢且合理的動(dòng)作鏡頭，物體形變現(xiàn)象得到有效控制；在處理光影反射時(shí)，它能夠基本遵循物理規(guī)律，如在鏡面或照鏡子的場(chǎng)景中，能夠?qū)崿F(xiàn)鏡內(nèi)外動(dòng)作的一致性。此外，該模型還能在保持畫面主角不變的情況下自動(dòng)切換鏡頭，這是許多其他模型所不具備的高級(jí)功能。
視頻由騰訊混元視頻生成，提示詞：200mm長(zhǎng)焦鏡頭，對(duì)準(zhǔn)一只停在欄桿上的海鷗。羽毛的紋理清晰可辨，前景的木欄桿溫柔虛化。遠(yuǎn)處的落日和海平面融化成金紅色的光影
視頻由騰訊混元視頻生成，提示詞：暴風(fēng)雪中，一列蒸汽火車在崎嶇山間穿行，黑煙從車頭直沖云霄，車廂在皚皚白雪中留下深邃軌跡，鏡頭以側(cè)面追蹤，捕捉機(jī)械巨獸破開風(fēng)雪的磅礴氣勢(shì)，白霧與蒸汽交織成壯麗畫卷，電影氛圍，遠(yuǎn)景
視頻由騰訊混元視頻生成，提示詞：一個(gè)隱藏的瀑布流入清澈的池塘，周圍是高大的樹木和綠色植物。陽(yáng)光穿過樹葉，在下面的巖石和水面上形成斑點(diǎn)。逼真，茂密森林中的寧?kù)o瀑布，寧?kù)o、陽(yáng)光明媚的日子，中景
視頻由騰訊混元視頻生成，提示詞：一位戴著復(fù)古飛行護(hù)目鏡的機(jī)械師，半跪在蒸汽朋克風(fēng)格的工作室里。她棕色卷發(fā)挽成發(fā)髻，零星的銀色發(fā)絲閃著金屬光澤。深棕色皮質(zhì)工裝背帶褲上沾滿機(jī)油污漬，袖口卷起露出布滿齒輪紋身的手臂。特寫她正用黃銅工具調(diào)試一只機(jī)械鳥，齒輪間冒出縷縷蒸汽，工作臺(tái)上散落著銅管、發(fā)條和老式圖紙。
它采用了與Sora相似的DiT架構(gòu)，并在此基礎(chǔ)上進(jìn)行了多項(xiàng)優(yōu)化。混元的視頻生成模型通過引入新一代的文本編碼器，顯著增強(qiáng)了對(duì)語(yǔ)義的理解和遵循能力，這使得它在處理多主體場(chǎng)景時(shí)能夠更加精確地執(zhí)行指令并呈現(xiàn)細(xì)節(jié)；此外，該模型還采用了統(tǒng)一的全注意力機(jī)制，這不僅讓視頻幀之間的過渡更加自然，還實(shí)現(xiàn)了在保持主體一致性的前提下進(jìn)行多視角切換；最后，混元通過采用先進(jìn)的圖像視頻混合VAE技術(shù)（3D變分編碼器），在細(xì)節(jié)捕捉上取得了顯著進(jìn)步，特別是在處理小尺寸人臉和快速運(yùn)動(dòng)鏡頭等復(fù)雜場(chǎng)景時(shí)表現(xiàn)尤為突出。
目前，騰訊宣布開源該視頻生成大模型已在 Hugging Face 平臺(tái)及 Github 上發(fā)布，包含模型權(quán)重、推理代碼、模型算法等完整模型，可供企業(yè)與個(gè)人開發(fā)者免費(fèi)使用和開發(fā)生態(tài)插件。基于騰訊混元的開源模型，開發(fā)者及企業(yè)無需從頭訓(xùn)練，即可直接用于推理，并可基于騰訊混元系列打造專屬應(yīng)用及服務(wù)，能夠節(jié)約大量人力及算力，加速行業(yè)創(chuàng)新步伐。
據(jù)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))了解，從年初以來，騰訊混元系列模型的開源速度不斷加快。此前，騰訊混元已經(jīng)開源了旗下文生文、文生圖和3D生成大模型。至此，騰訊混元系列大模型已實(shí)現(xiàn)全面開源。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
