0
| 本文作者： 鄭佳美 | 2025-11-04 14:14 |
現(xiàn)在的 AI 生成技術(shù)突飛猛進(jìn)，但視頻創(chuàng)作仍然是一件“高門(mén)檻”的事。
雖然生成式 AI 帶來(lái)了前所未有的創(chuàng)作能力，但整個(gè)流程仍然瑣碎。創(chuàng)作者需要先寫(xiě)腳本，再用文生視頻工具生成畫(huà)面，隨后還要處理配音、剪輯、字幕、節(jié)奏……每一步都依賴(lài)不同的軟件。專(zhuān)業(yè)團(tuán)隊(duì)可以用流程去銜接這些環(huán)節(jié)，但對(duì)普通創(chuàng)作者來(lái)說(shuō)，這樣的分工往往意味著更多的時(shí)間成本和學(xué)習(xí)負(fù)擔(dān)。
AI 讓創(chuàng)作更容易開(kāi)始，卻還沒(méi)有讓創(chuàng)作變得更連貫。真正的突破，也許不是更大的模型或更強(qiáng)的算力，而是讓 AI 真正理解創(chuàng)意、參與創(chuàng)作。只有當(dāng)這些分散的環(huán)節(jié)被重新連起來(lái)，創(chuàng)意才能自然流動(dòng)。
未來(lái)的 AI 視頻創(chuàng)作，或許不在于增加更多工具，而是在于形成一個(gè)統(tǒng)一的系統(tǒng)——讓文字、圖像和聲音能在同一個(gè)空間協(xié)作，讓構(gòu)思、生成和調(diào)整在同一語(yǔ)境中完成。
而現(xiàn)在，這種改變，正在被昆侖萬(wàn)維逐步實(shí)現(xiàn)。
昆侖萬(wàn)維最新推出的全新 SkyReels，就是在這種“重構(gòu)創(chuàng)作方式”的思路下誕生的。它不是又一款單一的生成工具，而是一套讓創(chuàng)作重新回到“統(tǒng)一與流動(dòng)”的多模態(tài)系統(tǒng)。
在全新 SkyReels 里，圖片、視頻、音樂(lè)和人聲講解等元素都被放在同一個(gè)空間中理解和生成。創(chuàng)作者不用再在不同平臺(tái)之間來(lái)回切換、反復(fù)導(dǎo)入導(dǎo)出，而是能在同一張畫(huà)布上完成構(gòu)思、生成和調(diào)整。創(chuàng)作的過(guò)程因此變得更順暢，創(chuàng)意也能自然地延伸下去。
為了讓更多人進(jìn)入這種新的創(chuàng)作方式，全新 SkyReels 還設(shè)計(jì)了 3 種方式：
它既可以讓熟悉 AI 的創(chuàng)作者可以直接生成圖像、視頻、音頻或數(shù)字人，也能幫助希望獲得更結(jié)構(gòu)化幫助的用戶(hù)，可以調(diào)用近三十個(gè)聚焦具體場(chǎng)景的 Agent，獲得任務(wù)級(jí)協(xié)助。除此之外，初學(xué)者或效率導(dǎo)向的創(chuàng)作者，只需使用模板，輸入文字或替換畫(huà)面，即可快速完成創(chuàng)作。
而這一切，都發(fā)生在一張無(wú)限畫(huà)布上。畫(huà)布讓不同模態(tài)的內(nèi)容以拖拽的方式被組織與組合，讓創(chuàng)意的邊界隨著操作而自然擴(kuò)展。在全新 SkyReels 上，創(chuàng)作不再是對(duì)模型的調(diào)度，而是一次對(duì)思維的可視化延伸。
更深層的變化來(lái)自昆侖萬(wàn)維的 Agentic Copilot。在這個(gè)系統(tǒng)中，有一個(gè) Super Agent 統(tǒng)籌著整體創(chuàng)作方向，近三十個(gè) Expert Agent 分工協(xié)作，覆蓋腳本、鏡頭、音效、剪輯等各個(gè)環(huán)節(jié)。創(chuàng)作者只需用自然語(yǔ)言表達(dá)需求，或上傳素材、提供鏈接，AI 便能在多模態(tài)內(nèi)容中完成理解、生成與優(yōu)化。
在理念層面，全新 SkyReels 已經(jīng)描繪出一種更自然、更連貫的創(chuàng)作方式，而在實(shí)際體驗(yàn)中，這種重構(gòu)也并非概念上的想象，而是能夠被直接感知到的變化。
AI 科技評(píng)論對(duì)畫(huà)布與 Agent 系統(tǒng)等功能進(jìn)行了一手實(shí)測(cè)，用更直觀的方式還原了它們?cè)趯?shí)際創(chuàng)作過(guò)程中的表現(xiàn)。
當(dāng)我們?cè)诋?huà)布中加入一張靜態(tài)圖片并讓它動(dòng)起來(lái)時(shí)，生成的效果出乎意料地生動(dòng)。畫(huà)面中的主體在落腳處出現(xiàn)了輕微的下壓與形變，連腳下柔軟墊子的塌陷感都被自然捕捉。
除此之外，原本貼在畫(huà)面中的 2D 卡通貼紙，也被轉(zhuǎn)譯成具有體積感的 3D 元素，與整體光影氛圍融為一體。這種細(xì)節(jié)層面的真實(shí)感，讓生成的畫(huà)面不再是“動(dòng)起來(lái)的圖”，而更像是一段真正拍攝出的片段。
同時(shí)，畫(huà)布還支持將文字直接生成語(yǔ)音。只需在界面中輸入臺(tái)詞或旁白，系統(tǒng)便能自動(dòng)生成語(yǔ)氣自然、情感流暢的聲音，為畫(huà)面增添完整的敘事節(jié)奏。無(wú)論是品牌講解還是人物旁白，語(yǔ)音都能與畫(huà)面氛圍保持統(tǒng)一，讓靜態(tài)的創(chuàng)意真正“說(shuō)話(huà)”。
我們還用畫(huà)布生成了一段 ASMR 視頻，主題是“星辰摩擦的聲音”。模型在生成時(shí)準(zhǔn)確捕捉了聲波的顆粒感與空間分布，聲音層次分明，節(jié)奏自然，帶有切割肥皂般的細(xì)碎觸感。視覺(jué)與音頻在同一畫(huà)布內(nèi)被同步渲染，整體效果極其干凈、細(xì)膩。
除了畫(huà)布功能，當(dāng)你打開(kāi)首頁(yè)時(shí)，還會(huì)發(fā)現(xiàn)這里有很多針對(duì)不同領(lǐng)域的專(zhuān)業(yè) Agent。它們覆蓋市場(chǎng)營(yíng)銷(xiāo)、電商內(nèi)容、創(chuàng)意故事、虛擬形象等多個(gè)方向，用戶(hù)可直接選擇所需場(chǎng)景，即刻進(jìn)入任務(wù)級(jí)創(chuàng)作，無(wú)需額外配置或?qū)W習(xí)。
我們先是用 Agent 創(chuàng)作了一個(gè)關(guān)于奧德修斯冒險(xiǎn)的旁白故事視頻。從人物造型、腳本撰寫(xiě)，到靜態(tài)畫(huà)面的生成、動(dòng)態(tài)鏡頭的延展，再到解說(shuō)人聲和字幕的添加，整個(gè)流程幾乎無(wú)需額外干預(yù)。
你只需要提供一個(gè)想法，并勾選希望呈現(xiàn)的元素，系統(tǒng)就能自動(dòng)組合成一段結(jié)構(gòu)完整、節(jié)奏自然的解說(shuō)視頻。
除此之外，我們還用 Agent 做了一個(gè) 15 秒的護(hù)手霜廣告視頻實(shí)驗(yàn)。只上傳了一張產(chǎn)品圖，并輸入提示詞：“我要推廣一款護(hù)手霜，目標(biāo)受眾是都市白領(lǐng)，風(fēng)格輕快。”
Agent 在幾分鐘鐘內(nèi)生成了完整的廣告腳本與畫(huà)面方案。鏡頭從手部特寫(xiě)緩緩?fù)七M(jìn)到產(chǎn)品包裝，背景是干凈的辦公場(chǎng)景與自然光線(xiàn)交織的氛圍，鏡頭節(jié)奏輕盈，背景音樂(lè)也是干凈明快。
整個(gè)視頻沒(méi)有過(guò)度渲染，卻精準(zhǔn)拿捏了品牌感與氛圍感的平衡。從一張靜態(tài)圖片到完整成片，系統(tǒng)只用了幾分鐘的時(shí)間，而且可以讓你明顯地感受到，這已經(jīng)不只是“生成內(nèi)容”，而是在“理解創(chuàng)意”。
而到了數(shù)字人板塊，官方展示的 Demo 效果同樣令人印象深刻，人物的表情細(xì)節(jié)、眼神互動(dòng)和說(shuō)話(huà)節(jié)奏都非常接近真人。這樣的完成度讓我們對(duì)數(shù)字人板塊產(chǎn)生了好奇，也想看看在真實(shí)使用場(chǎng)景下，它的表現(xiàn)是否依然自然流暢。
測(cè)試中，我們先是上傳了一張老馬與老黃的經(jīng)典名場(chǎng)面圖，并為其添加了相應(yīng)的臺(tái)詞。最終在生成的視頻中，兩位角色的語(yǔ)氣自然流暢，表情與身體細(xì)微動(dòng)作精準(zhǔn)匹配語(yǔ)音節(jié)奏。無(wú)論是說(shuō)話(huà)時(shí)的輕微點(diǎn)頭、視線(xiàn)的轉(zhuǎn)移，還是停頓與呼吸的節(jié)奏，都呈現(xiàn)出接近真人表演的真實(shí)感。
在相同的對(duì)話(huà)內(nèi)容下，我們還生成了一個(gè)由奧特曼單人出演的數(shù)字人視頻。整體表現(xiàn)依舊流暢，語(yǔ)音與表情同步自然，人物在說(shuō)話(huà)時(shí)的停頓與呼吸節(jié)奏也得到了較好還原。單人場(chǎng)景在情緒表現(xiàn)上更加集中，更容易看出模型對(duì)語(yǔ)音細(xì)節(jié)的捕捉能力。
值得一提的是，全新 SkyReels 是業(yè)內(nèi)首個(gè)支持單鏡頭多人多輪對(duì)話(huà)的數(shù)字人模型。它能精確控制每個(gè)角色的發(fā)聲時(shí)機(jī)與語(yǔ)氣節(jié)奏，讓多角色互動(dòng)自然連貫，呈現(xiàn)出極具“真實(shí)對(duì)話(huà)感”的生成效果。
除此之外，我們還測(cè)試了一下全新 SkyReels 的其他功能。
例如在風(fēng)格化測(cè)試中，我們嘗試將一段蜘蛛俠視頻轉(zhuǎn)換成樂(lè)高風(fēng)格。最終的生成結(jié)果的轉(zhuǎn)譯非常干凈，動(dòng)作邏輯完整，光影層次保留，人物在變?yōu)榉e木結(jié)構(gòu)后仍具動(dòng)感與體積感。
而全新 SkyReels 在視頻延長(zhǎng)測(cè)試中也有不俗的表現(xiàn)，我們先是上傳了一段僅有一張主角正臉的視頻，并給出提示詞： “固定鏡頭，過(guò)肩視角，透過(guò)男人的背影看到女人含羞地一笑，然后開(kāi)口說(shuō)話(huà)。”
最終生成的視頻令人驚艷，鏡頭反轉(zhuǎn)后，原片中僅作背景的女性角色被完整生成，她的表情從微微低頭到抬眼、輕笑，再到開(kāi)口說(shuō)話(huà)的細(xì)微變化都被自然捕捉，情緒層次清晰。
整個(gè)延展片段不僅延續(xù)了原有畫(huà)面的光影與色調(diào)，還在情感上實(shí)現(xiàn)了順暢銜接，讓延展效果幾乎無(wú)縫銜接。
整體測(cè)下來(lái)，全新 SkyReels 的實(shí)用性超出預(yù)期。它的功能覆蓋了創(chuàng)意工作者最常用的生產(chǎn)環(huán)節(jié) —— 無(wú)論是電商營(yíng)銷(xiāo)視頻、自媒體內(nèi)容，還是廣告、設(shè)計(jì)、影視創(chuàng)意等場(chǎng)景，都能在幾分鐘內(nèi)完成從構(gòu)思到成片的全過(guò)程。
而在與 Agent 協(xié)作時(shí)，系統(tǒng)會(huì)主動(dòng)確認(rèn)每個(gè)創(chuàng)作細(xì)節(jié)，用戶(hù)也能隨時(shí)表達(dá)和修改自己的想法，整個(gè)過(guò)程像一次自然的創(chuàng)意對(duì)話(huà)。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
值得一提的是，SkyReels 已正式上線(xiàn)移動(dòng)端。它在手機(jī)上完整保留了 Web 端的核心創(chuàng)作功能，讓用戶(hù)能夠隨時(shí)捕捉靈感、快速生成內(nèi)容。即使沒(méi)有專(zhuān)業(yè)設(shè)備，僅憑一部手機(jī)，也能輕松創(chuàng)作出專(zhuān)業(yè)水準(zhǔn)的視頻
優(yōu)秀的實(shí)測(cè)結(jié)果背后，是 全新 SkyReels 所依托的統(tǒng)一多模態(tài)學(xué)習(xí)框架。
無(wú)論是基于圖片、音頻還是視頻的生成任務(wù)，所有模型都共享同一個(gè) Multi-modal In-Context Learning 預(yù)訓(xùn)練基礎(chǔ)，再通過(guò)任務(wù)級(jí)精調(diào)進(jìn)行差異化優(yōu)化。這種設(shè)計(jì)讓模型能夠在不同模態(tài)之間建立穩(wěn)定的語(yǔ)義聯(lián)系，實(shí)現(xiàn)跨模態(tài)的一致性與泛化能力。
在圖片驅(qū)動(dòng)的視頻生成中，全新 SkyReels 版本重點(diǎn)解決了“多主體一致性”與“背景連貫性”問(wèn)題。模型通過(guò)跨幀配對(duì)策略和圖像編輯模型的聯(lián)合預(yù)處理，精準(zhǔn)分離主體與背景，并在生成過(guò)程中進(jìn)行語(yǔ)義級(jí)的重組，而非簡(jiǎn)單的圖像拼接。再結(jié)合圖像-視頻混合訓(xùn)練與多分辨率聯(lián)合優(yōu)化機(jī)制，使模型在主體保持、動(dòng)作延展和指令響應(yīng)上同時(shí)提升。
這一改進(jìn)使得其在參考圖一致性與視覺(jué)質(zhì)量指標(biāo)上均超越主流閉源模型。
而在音頻參考生成上，全新 SkyReels 基于 SkyReels-A3 框架進(jìn)行了全新設(shè)計(jì)。通過(guò)引入?yún)^(qū)域路由機(jī)制，模型能夠在單鏡頭中識(shí)別多角色并分別生成對(duì)應(yīng)嘴型，實(shí)現(xiàn)自然的多輪對(duì)話(huà)。
此外，系統(tǒng)支持相機(jī)運(yùn)動(dòng)參數(shù)的監(jiān)督學(xué)習(xí)，可在同一時(shí)間組合多種運(yùn)鏡，也能在不同時(shí)間實(shí)現(xiàn)平滑切換。關(guān)鍵幀插幀范式的加入，使其能在分鐘級(jí)時(shí)長(zhǎng)內(nèi)保持高質(zhì)量嘴部對(duì)齊與動(dòng)作一致性。在官方評(píng)測(cè)中，模型在嘴部同步、視頻質(zhì)量（IQA 4.58）與角色一致性（ID 0.78）等指標(biāo)上均達(dá)到閉源 SOTA 水平。
不光如此，V3 在視頻參考任務(wù)上也實(shí)現(xiàn)了三類(lèi)生成的統(tǒng)一——延長(zhǎng)、編輯與風(fēng)格化。
它通過(guò)設(shè)計(jì)不同任務(wù)的空間位置編碼和專(zhuān)屬嵌入，讓模型能理解參考視頻與生成視頻的關(guān)系，從而在同一結(jié)構(gòu)下完成多種任務(wù)。同時(shí)結(jié)合 token concat 與 channel concat 的優(yōu)勢(shì)，大幅減少計(jì)算量的同時(shí)保持高質(zhì)量輸出。
延長(zhǎng)模型通過(guò)語(yǔ)義級(jí)預(yù)測(cè)，支持 Cut-In、Cut-Out、Reverse Shot 等多種切鏡銜接方式，風(fēng)格化模型則依托自建的自動(dòng)化風(fēng)格數(shù)據(jù)生成與篩選系統(tǒng)，構(gòu)建了高質(zhì)量風(fēng)格配對(duì)數(shù)據(jù)集，實(shí)現(xiàn)穩(wěn)定且可控的藝術(shù)化生成。
總的來(lái)說(shuō)，從架構(gòu)到訓(xùn)練，全新 SkyReels 的核心競(jìng)爭(zhēng)力在于對(duì)“統(tǒng)一性”的徹底實(shí)現(xiàn)。雷峰網(wǎng)
它通過(guò)多模態(tài)聯(lián)合訓(xùn)練，讓模型能在不同輸入之間形成共享語(yǔ)義空間，通過(guò)跨任務(wù)的結(jié)構(gòu)設(shè)計(jì)，讓延展、對(duì)話(huà)、編輯、風(fēng)格化具備同樣的理解邏輯， 最終在一致性、畫(huà)面質(zhì)量和生成可控性上同時(shí)提升，成為目前少數(shù)能在圖片、音頻與視頻任務(wù)中都達(dá)到閉源水準(zhǔn)的多模態(tài)生成模型。
但這不僅僅是模型層面的升級(jí)，其實(shí)它更是創(chuàng)作邏輯的一次重構(gòu)。全新 SkyReels 所實(shí)現(xiàn)的“統(tǒng)一”，不僅是把多模態(tài)能力融合在一起，更代表著 AI 理解世界方式的一次跨越——它不再把圖像、聲音、文字當(dāng)成彼此孤立的信號(hào)，而是以語(yǔ)義為底層語(yǔ)言去思考、生成和表達(dá)。
當(dāng)技術(shù)真的具備這種語(yǔ)義上的連貫性時(shí)，創(chuàng)作就不再是“調(diào)用模型”的過(guò)程，而更像是一種思維的自然流動(dòng)。這正是全新 SkyReels 的意義所在——讓 AI 的力量，重新回到創(chuàng)意本身。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
