騰訊混元3D模型，又又又上新了!

　　這次帶來的是藝術(shù)級(jí)3D生成模型Hunyuan3D-PolyGen，支持生成面數(shù)上萬的復(fù)雜幾何模型。

　　而且這個(gè)模型可以把3D模型變成資產(chǎn)，鵝廠自己的游戲開發(fā)工作室用上之后，美術(shù)師建模效率提升了超70%。

　　有網(wǎng)友表示，AI已經(jīng)學(xué)會(huì)了拓?fù)洌�自己已�?jīng)很久沒有對(duì)AI生成3D感到如此興奮了。

　　目前，模型的拓?fù)涔δ芤言诨煸?D工作臺(tái)上線，與其他功能共享每天20次的免費(fèi)使用額度。

　　實(shí)測(cè)“藝術(shù)級(jí)”3D生成模型

　　美術(shù)級(jí)的模型生成和一般的3D建模，區(qū)別主要有這幾個(gè)方面：

　　面數(shù)：需要滿足游戲?qū)崟r(shí)加載與渲染的需求，美術(shù)Mesh相對(duì)于一般的3D生成Mesh面數(shù)更少;

　　布線質(zhì)量：后續(xù)還需要進(jìn)行UV展開、骨骼綁定等環(huán)節(jié)，需要高效、規(guī)整的布線;

　　組件式結(jié)構(gòu)：美術(shù)師需要對(duì)模型進(jìn)行后期編輯，需要將生成的模型拆分成組件以便后期操作。

　　那么，混元3D的表現(xiàn)如何呢?來看量子位的實(shí)測(cè)。

　　模型的入口是混元3D平臺(tái)(鏈接見文末)的“3D智能拓?fù)?rdquo;功能，支持文字生成以及單張或最多四張參考圖。

　　目前，該功能支持以三角形或四邊形兩種形式對(duì)模型進(jìn)行拓?fù)洹?/p>

　　第一個(gè)測(cè)試樣品，是一架波音747飛機(jī)，我們選擇三角面拓?fù)洹?/p>

　　先看大致輪廓，生成的結(jié)果是這樣的：

　　像發(fā)動(dòng)機(jī)等細(xì)節(jié)部位，也進(jìn)行了工整、精細(xì)的劃分。

　　第二道題，是一個(gè)毛絨玩具，這里直接拿線稿來試驗(yàn)。

　　拓?fù)洳僮骱螅�不僅原有細(xì)節(jié)得到了保留，混元3D還對(duì)物體的表面進(jìn)行了更為細(xì)致的拓?fù)浠��?/p>

　　另外，智能拓?fù)湟仓С謱?duì)現(xiàn)有的模型進(jìn)行調(diào)整，轉(zhuǎn)化成面數(shù)更低、布線更規(guī)整的“藝術(shù)級(jí)模型”。

　　比如這輛奔馳小轎車，原來的模型轉(zhuǎn)換成白模之后是這樣的：

　　經(jīng)過拓?fù)涮幚碇�后，不僅結(jié)構(gòu)完整，線條分布整齊、疏密布局合理，車內(nèi)的方向盤、座椅等內(nèi)飾也都能完整呈現(xiàn)。

　　總的來說，混元3D-PolyGen在基本保留物體細(xì)節(jié)特征的情況下，確實(shí)能夠?qū)崿F(xiàn)生成面數(shù)適當(dāng)、布線整潔的“藝術(shù)級(jí)”3D模型。

　　并且根據(jù)混元3D團(tuán)隊(duì)發(fā)布的報(bào)告，混元3D-PolyGen相比競(jìng)品的重拓?fù)?AI拓?fù)浞椒ǎ�可以利用更低的面�?shù)實(shí)現(xiàn)更好的細(xì)節(jié)。

　　那么，混元3D-PolyGen是如何實(shí)現(xiàn)的呢?

　　解決復(fù)雜物體建模和穩(wěn)定性

　　目前混元3D團(tuán)隊(duì)還未發(fā)布混元3D-PolyGen的完整技術(shù)報(bào)告，但對(duì)其核心的原理和技術(shù)進(jìn)行了簡(jiǎn)要介紹。

　　★自回歸生成框架

　　整體上，Hunyuan3D-PolyGen采用了自回歸網(wǎng)格生成框架，通過頂點(diǎn)與面片建模進(jìn)行空間推理。

　　具體來說，這個(gè)框架包括了三個(gè)核心環(huán)節(jié)——先把網(wǎng)格變成Tokens，然后交給自回歸模型處理，最后再變回網(wǎng)格。

　　在正式的自回歸建模開始之前，Hunyuan3D-PolyGen會(huì)用點(diǎn)云編碼器對(duì)網(wǎng)格進(jìn)行序列化，也就是將網(wǎng)格的頂點(diǎn)和面片轉(zhuǎn)化為Token序列，用以表示Mesh結(jié)構(gòu)。

　　所謂Mesh結(jié)構(gòu)就是用來表示三維物體表面的多邊形網(wǎng)格，包含了頂點(diǎn)、邊、面、法線等信息。

　　完成轉(zhuǎn)換之后，Hunyuan3D-PolyGen以點(diǎn)云作為輸入Prompt，利用自回歸模型生成以Token序列形式表示的Mesh結(jié)構(gòu)。

　　完成生成之后就是對(duì)這個(gè)Tokens序列進(jìn)行解碼，還原成Mesh結(jié)構(gòu)，構(gòu)建出3D網(wǎng)格。

　　★壓縮mesh結(jié)構(gòu)，解決復(fù)雜物體建模

　　為了解決復(fù)雜物體的建模問題，混元3D技術(shù)團(tuán)隊(duì)自研了高壓縮率mesh表征BPT。

　　在現(xiàn)有的mesh自回歸建模方式當(dāng)中，mesh表達(dá)的冗余程度較高，僅一個(gè)面就需要用9個(gè)Token(3個(gè)頂點(diǎn)×3維坐標(biāo))。

　　而自回歸模型的上下文窗口有限，對(duì)兩千個(gè)面以下的簡(jiǎn)單模型還可以進(jìn)行建模，但對(duì)于面數(shù)更多的模型就無法建模了。

　　混元3D團(tuán)隊(duì)的思路是對(duì)mesh結(jié)構(gòu)進(jìn)行壓縮，于是設(shè)計(jì)了高壓縮率mesh表征BPT(Blocked and Patchified Tokenization)，減少表達(dá)相同mesh所需的token數(shù)量。

　　具體來說，這項(xiàng)技術(shù)包括block索引和patch壓縮兩個(gè)核心環(huán)節(jié)。

　　block索引是指將網(wǎng)格空間分成多個(gè)block，頂點(diǎn)的表征由(x,y,z)空間坐標(biāo)轉(zhuǎn)化為(block, offset)索引坐標(biāo)，這樣三維坐標(biāo)就變成了二維，token數(shù)量可以減少三分之一。

　　patch壓縮則是將相鄰面片組成patch(一個(gè)中心頂點(diǎn)和邊緣頂點(diǎn))，減少相鄰面片之間共用頂點(diǎn)的冗余，結(jié)合共享block等技巧，token數(shù)量可進(jìn)一步降低約41%。

　　結(jié)合block索引和patch壓縮，表征mesh結(jié)構(gòu)的token數(shù)量可減少74%，表征一個(gè)面需要的token數(shù)量從9個(gè)減少到了平均2.3個(gè)。

　　所以，在相同的上下文窗口下，模型的可建模面數(shù)大幅提升，可建模的模型更加復(fù)雜(可達(dá)2w+面)、細(xì)節(jié)更多。

　　★強(qiáng)化學(xué)習(xí)后訓(xùn)練，提高生成穩(wěn)定性

　　由于表示mesh結(jié)構(gòu)的token序列很長(zhǎng)且容錯(cuò)率低，造成了建模的穩(wěn)定性不足，也就是同一個(gè)模型的多次生成結(jié)果可能存在很大差異。

　　所以，混元3D團(tuán)隊(duì)研發(fā)了mesh自回歸的強(qiáng)化學(xué)習(xí)后訓(xùn)練框架。

　　該框架在預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行后訓(xùn)練，將布線規(guī)整度、幾何一致性、面片破損率等美術(shù)規(guī)范作為獎(jiǎng)勵(lì)指標(biāo)，引導(dǎo)模型生成更好的結(jié)果。

　　結(jié)果，混元3D-PolyGen在生成的穩(wěn)定性、細(xì)節(jié)、布線質(zhì)量等方面均優(yōu)于目前SOTA模型。