0
| 本文作者: 小七 | 2025-09-26 18:24 |
9 月 26 日,騰訊宣布,混元3D生成模型家族又添新成員——混元3D-Omni、混元3D-Part發(fā)布并開源。這也是騰訊混元在可控3D生成上的新突破,讓AI 3D建模更具實(shí)用性,加速3D生成模型在游戲、打印和 AR/VR 等實(shí)際生產(chǎn)流程中的落地應(yīng)用。
作為業(yè)界首個(gè)統(tǒng)一支持多條件控制的3D生成框架,混元3D-Omni 突破傳統(tǒng)圖像輸入的局限性,支持多種模態(tài)輸入,實(shí)現(xiàn)對物體幾何結(jié)構(gòu)、拓?fù)浜妥藨B(tài)的精細(xì)控制。混元3D-Part則實(shí)現(xiàn)了靈活可控的部件拆分和生成,讓分解和生成3D模型像玩樂高一樣簡單。
混元3D-Omni、混元3D-Part將完整開放推理代碼和權(quán)重,全面開源、免費(fèi)使用,便于學(xué)術(shù)研究和工業(yè)部署,助力可控3D生成的社區(qū)探索。
近年來,基于原生3D表示(如點(diǎn)云和體素)的生成模型迅速興起。然而,當(dāng)前主流方法主要依賴圖像輸入,易受單視角遮擋、光照干擾,導(dǎo)致幾何準(zhǔn)確性不足;同時(shí)難以精細(xì)調(diào)控比例、姿態(tài)和細(xì)節(jié),且無法適應(yīng)多模態(tài)輸入,限制了在復(fù)雜場景中的實(shí)用性。
混元3D-Omni 基于混元3D 2.1開源模型構(gòu)建,就像 “3D界的ControlNet”,通過輕量化的統(tǒng)一控制編碼器和漸進(jìn)式難度感知訓(xùn)練策略,混元 3D-Omni能融合多達(dá)四類控制條件,顯著提升生成的可控性和質(zhì)量:
骨骼:在單圖條件下加入骨骼數(shù)據(jù),能精確調(diào)節(jié)生成人物資產(chǎn)的姿態(tài),完美適用于動(dòng)畫制作或虛擬角色設(shè)計(jì);
點(diǎn)云:注入完整物體點(diǎn)云或從深度圖投影的部分點(diǎn)云,幫助消除單張圖像的視覺歧義,提升幾何細(xì)節(jié),讓3D模型更逼真可靠;
邊界框:允許微調(diào)生成資產(chǎn)的長寬高比例,確保結(jié)果與預(yù)期對齊;
體素:針對物體結(jié)構(gòu)進(jìn)行精確調(diào)節(jié),讓生成的3D資產(chǎn)在幾何細(xì)節(jié)上滿足需求。

骨骼控制人物姿態(tài)

點(diǎn)云控制補(bǔ)充三維信息

邊界框控制不同比例

邊界框控制解決單圖生成“紙片”問題

體素控制物體結(jié)構(gòu)
這些控制條件可靈活組合,支持深度相機(jī)、LiDAR或重建模型等輸入來源。社區(qū)開發(fā)者還可基于開源模型輕松擴(kuò)展更多創(chuàng)意條件,如額外的人物姿態(tài)控制。

混元3D-Omni標(biāo)志著3D生成從“圖像主導(dǎo)”向“多模態(tài)可控”轉(zhuǎn)型的關(guān)鍵一步。多模態(tài)融合的創(chuàng)新,不僅提升了生成的可控性和魯棒性,還為下游應(yīng)用鋪平道路。想象一下,在虛擬現(xiàn)實(shí)項(xiàng)目中,你用骨骼信號(hào)控制角色動(dòng)態(tài)姿勢,再疊加點(diǎn)云細(xì)節(jié)讓模型更逼真——這一切,都能在本地快速迭代,無需昂貴硬件。
與混元3D-Omni的精準(zhǔn)生成相呼應(yīng),混元3D-Part則專注解決3D生成的“拆解難題”。
傳統(tǒng)算法往往輸出不可分割的“一體化”模型,但實(shí)際應(yīng)用中,可拆解的模型則能適應(yīng)更多場景的需求:比如游戲制作中,汽車模型拆分成車身和獨(dú)立輪子,便于綁定滾動(dòng)邏輯;3D打印時(shí),像搭積木般逐個(gè)組件打印,能夠避免大件變形風(fēng)險(xiǎn)。
混元最新推出的混元3D-Part技術(shù),由業(yè)界首個(gè)原生3D分割模型P3-SAM 與工業(yè)級組件生成模型X-Part 組成,首次實(shí)現(xiàn)高精度、可控的組件式3D生成,支持50 +組件自動(dòng)生成,生成的模型幾何質(zhì)量高、可編輯、結(jié)構(gòu)合理,讓模型更易編輯、生產(chǎn)和應(yīng)用。
P3-SAM 的組件分割結(jié)果

X-Part 的組件生成結(jié)果
用戶用混元3D 2.5或3.0模型生成整體Mesh后,即可通過P3-SAM獲取語義特征和邊界框,進(jìn)行自動(dòng)、精確的組件分割,X-Part接棒將整體Mesh分解為獨(dú)立部件,輸出高保真、結(jié)構(gòu)一致的部件幾何體,同時(shí)保持靈活可控性。

Hunyuan3D-Part 組件拆分整體流程
在PartObj-Tiny、PartObj-Tiny-WT和PartNetE等基準(zhǔn)測試中,Hunyuan3D-Part的分割和生成結(jié)果大幅超越現(xiàn)有工作,體現(xiàn)其在精度和質(zhì)量上的領(lǐng)先優(yōu)勢。

X-Part 組件生成結(jié)果和開源工作對比
目前該模型也已經(jīng)上線混元3D Studio,通過騰訊混元3D創(chuàng)作引擎即可免費(fèi)使用。
過去一年,騰訊混元大模型加速迭代,發(fā)布超過30個(gè)新模型,并全面擁抱開源,混元語言、圖像、視頻、3D生成模型全模態(tài)、多尺寸開源,多次拿下HuggingFace模型熱榜第一。混元3D系列模型是全球最受歡迎的3D開源模型,社區(qū)下載量超260萬。
在 2025 騰訊全球數(shù)字生態(tài)大會(huì)上剛剛發(fā)布的混元3D 3.0生成模型,建模精度提升3倍,幾何分辨率高達(dá)15363,支持 36 億體素超高清建模,攻克人臉雕刻難題,細(xì)節(jié)表現(xiàn)力顯著增強(qiáng)。面向3D設(shè)計(jì)師、游戲開發(fā)者、建模師等群體,還推出專業(yè)級AI工作臺(tái)——混元3D Studio,通過AI技術(shù)整合3D生產(chǎn)全流程,實(shí)現(xiàn)更加可控、更加高效的3D創(chuàng)作。
憑借超高清建模和高質(zhì)量生成,騰訊混元正加速推動(dòng)3D技術(shù)在各行業(yè)的落地應(yīng)用。頭部3D打印廠商拓竹科技、創(chuàng)想三維等均接入騰訊混元3D模型,大幅提升建模效率。全球首個(gè)設(shè)計(jì)Agent Lovart也在3D生成任務(wù)中首選騰訊混元3D,拓展了設(shè)計(jì)領(lǐng)域的創(chuàng)新應(yīng)用。
混元3D-Omni:
代碼:https://github.com/Tencent-Hunyuan/Hunyuan3D-Omni
權(quán)重:https://huggingface.co/tencent/Hunyuan3D-Omni
技術(shù)報(bào)告:https://arxiv.org/pdf/2509.21245
混元3D-Part:
代碼:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
權(quán)重: https://huggingface.co/tencent/Hunyuan3D-Part
技術(shù)報(bào)告(兩篇):
P3-SAM:
論文[2509.06784] P3-SAM: Native 3D Part Segmentation
項(xiàng)目網(wǎng)址:P3-SAM: Native 3D Part Segmentation
X-Part:
論文:[2509.08643] X-Part: high fidelity and structure coherent shape decomposition
項(xiàng)目網(wǎng)址:X-Part: High Fidelity And Structure Coherent Shape Decomposition
體驗(yàn)入口:
(輕量版)Hugging Face demo:https://huggingface.co/spaces/tencent/Hunyuan3D-Par
(滿血版)混元3D Studio:騰訊混元3D
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。