相信很多大家對(duì)秒殺Instant3D！上交大推新框架Bootstrap3D 顯著提升3D生成能力還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

站長(zhǎng)之家（ChinaZ.com）6月11日 消息:上海交大和香港中文大學(xué)的研究團(tuán)隊(duì)推出了一個(gè)名為Bootstrap3D的新框架，它通過結(jié)合微調(diào)的3D感知多模態(tài)大模型，能夠自動(dòng)生成任意數(shù)量的高質(zhì)量多視角圖片數(shù)據(jù)，顯著提升3D生成模型的能力。這個(gè)框架的合成數(shù)據(jù)集已經(jīng)全面開源，供研究人員和開發(fā)者免費(fèi)使用。

關(guān)鍵特點(diǎn):

數(shù)據(jù)構(gòu)建Pipeline:自動(dòng)生成多視角圖像數(shù)據(jù)和詳細(xì)描述文本，是框架的核心創(chuàng)新之一。

文本提示生成:使用大語言模型生成創(chuàng)意和多樣化的文本提示，為圖像生成提供素材。

圖像生成:結(jié)合2D擴(kuò)散模型和視頻擴(kuò)散模型，根據(jù)文本提示創(chuàng)建單視圖圖像。

多視圖合成:將單視圖圖像擴(kuò)展為多視角圖像，確保不同視角下的一致性。

質(zhì)量篩選和描述重寫:通過3D感知模型MV-LLaVA對(duì)圖像進(jìn)行質(zhì)量篩選和描述文本的重寫。

此外，研究團(tuán)隊(duì)還提出了**訓(xùn)練timestep重安排（TTR）**策略，優(yōu)化去噪過程的不同階段，解決多視圖擴(kuò)散模型訓(xùn)練中的圖像質(zhì)量和視圖一致性問題。TTR策略限制合成數(shù)據(jù)的訓(xùn)練時(shí)間步，主要參與早期去噪階段，而真實(shí)數(shù)據(jù)參與所有時(shí)間步的訓(xùn)練，提供高頻細(xì)節(jié)和真實(shí)感。

實(shí)驗(yàn)結(jié)果證明，使用TTR策略的多視圖擴(kuò)散模型在圖像-文本對(duì)齊、圖像質(zhì)量和視圖一致性方面表現(xiàn)優(yōu)異，有效提升了多視圖生成的效果。

項(xiàng)目地址：https://top.aibase.com/tool/bootstrap3d

以上就是關(guān)于【秒殺Instant3D！上交大推新框架Bootstrap3D 顯著提升3D生成能力】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！