相信很多大家對浙大、螞蟻集團推出MaPa：文本生成超真實3D模型還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

浙江大學(xué)、螞蟻集團、深圳大學(xué)聯(lián)合推出了創(chuàng)新模型MaPa。

與傳統(tǒng)紋理方法不同的是，MaPa通過文本能直接生成高分辨率、物理光照、超真實材質(zhì)的3D模型，可以極大提升游戲、VR、AR、影視等行業(yè)的開發(fā)效率。

研究人員在多個知名平臺對MaPa進行了綜合測試。結(jié)果顯示，在無參考圖像的情況下MaPa生成的模型材質(zhì)、分辨率、局部細節(jié)，比TEXTure、Text2tex、Fantasia3D等模型的效果更好。

論文地址:https://arxiv.org/abs/2404.17569

MaPa功能展示

分段圖像生成

為了更好地還原用戶的文本提示和提升模型質(zhì)量，MaPa在生成的過程中會將3D網(wǎng)格細分為多個細小的分段。該過程有點類似將一幅畫作分解成多個小碎塊，這樣每塊的細節(jié)都能夠獨立處理，以便于后續(xù)上色和材質(zhì)的精細調(diào)整。

然后，MaPa會將這些3D分段投影到2D空間中生成2D圖像。為了獲得最佳的2D分割圖像，MaPa需要選擇一個合適的視角。

通過均勻采樣一系列視角，并選擇能夠產(chǎn)生最多2D分段的視角作為起始視角，以確保生成的2D圖像能夠盡可能多地捕捉到3D分段的細節(jié)。

在2D圖像生成中，MaPa使用了ControlNet，這是一個預(yù)訓(xùn)練的2D擴散模型，能夠根據(jù)給定的條件生成相應(yīng)的2D圖像。研究人員對ControlNet進行了微調(diào)，使其能夠適應(yīng)特定的分段條件，從而生成與3D分段更加對齊的2D圖像。

3D材質(zhì)分組

通常在3D模型的材質(zhì)生成過程中有一個難題，就是該如何將不同的材質(zhì)部分有效地組織和管理。而MaPa通過使用“材質(zhì)分組”模塊，來自動智能識別和分組相似材質(zhì)的3D分段，從而提升渲染的質(zhì)量，同時又減少了后續(xù)的優(yōu)化流程。

MaPa使用了GPT-4v模型進行材質(zhì)分類。GPT-4v不僅識別準確率高，對于用戶的文本語義理解能力也很強，可以精準提煉出文本中的特殊材質(zhì)。

此外，材質(zhì)分組還內(nèi)置了一個材質(zhì)顏色相似性分析模塊，通過反射率估計網(wǎng)絡(luò)來評估不同分段的顏色，并在CIE顏色空間中進行比較。

如果兩個分段的材質(zhì)顏色足夠接近，就會被歸為同一組進一步提升材質(zhì)的一致性。

材質(zhì)圖優(yōu)化

對材質(zhì)分好組之后，MaPa會從一個預(yù)建的材質(zhì)圖庫中檢索最相似的材質(zhì)圖作為初始值，再通過可微渲染模塊對材質(zhì)圖的參數(shù)進行優(yōu)化，使得渲染圖像盡可能接近生成的3D模型。

在渲染的過程中MaPa使用了DiffMat v2框架，能夠?qū)⒉馁|(zhì)圖轉(zhuǎn)換為紋理空間映射，例如，反照率圖、法線圖和粗糙度圖等，使得選定的材質(zhì)圖參數(shù)使其更貼近生成的3D模型。

材質(zhì)圖優(yōu)化模塊還包括一個可微分渲染器，能夠根據(jù)材質(zhì)圖渲染出2D圖像，并與生成的3D模型進行比較，通過最小化兩者之間的差異來優(yōu)化材質(zhì)圖參數(shù)。這種方法不僅提高了材質(zhì)的真實感，還保持了渲染的效率。

由于3D模型的架構(gòu)比較復(fù)雜，一次難以生成精準生成。所以，MaPa使用了連續(xù)迭代的方法，可以為模型的每個部分生成一致且真實的材質(zhì)，即便是那些非常復(fù)雜的3D模型架構(gòu)也沒問題。

以上就是關(guān)于【浙大、螞蟻集團推出MaPa：文本生成超真實3D模型】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！