相信很多大家對(duì)CamCo：可控制相機(jī)的3D 一致圖像到視頻生成還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

6月5日 消息:研究提出了一種新穎的可控制相機(jī)姿態(tài)的圖像到視頻生成框架 ——CamCo，用于生成高質(zhì)量、三維一致的視頻。通過(guò)引入 Plücker 坐標(biāo)，為預(yù)訓(xùn)練的圖像到視頻生成器提供了精確參數(shù)化的相機(jī)姿態(tài)輸入。

產(chǎn)品入口網(wǎng)址：

為了增強(qiáng)生成的視頻的三維一致性，研究人員在每個(gè)注意力模塊中集成了極線約束注意力模塊，以對(duì)特征圖施加極線約束。此外，通過(guò)結(jié)構(gòu)光算法對(duì)真實(shí)世界視頻進(jìn)行微調(diào)，以改進(jìn)對(duì)象運(yùn)動(dòng)的合成效果。實(shí)驗(yàn)結(jié)果表明，與之前的模型相比，CamCo 在三維一致性和相機(jī)控制能力方面有顯著的改進(jìn)，同時(shí)能夠有效地生成合理的對(duì)象運(yùn)動(dòng)。

CamCo 是一個(gè)全新的可控制相機(jī)的圖像到視頻生成框架，可以生成高質(zhì)量、三維一致的視頻。CamCo 通過(guò)使用 Plücker 坐標(biāo)和極線約束注意力塊將相機(jī)參數(shù)注入模型中。研究人員還引入了一個(gè)數(shù)據(jù)篩選流程，用于處理帶有動(dòng)態(tài)主體的真實(shí)世界視頻，并通過(guò)這個(gè)篩選后的數(shù)據(jù)集對(duì) CamCo 進(jìn)行微調(diào)，以提高其生成具有相機(jī)自我運(yùn)動(dòng)和動(dòng)態(tài)主體的視頻的能力。

給定一張單獨(dú)的圖片和一個(gè)相機(jī)序列作為輸入，CamCo 模型可以合成符合相機(jī)條件并具有三維一致性的視頻。我們支持室內(nèi)、室外、以物體為中心的和文本到圖像生成的圖片。最后一行的提示為 "一個(gè)繁茂的花園，里面有各種顏色的盛開(kāi)的玫瑰，中間蜿蜒著一條石子路"，第一幀的相機(jī)姿態(tài)以紫色顯示。

以上就是關(guān)于【CamCo：可控制相機(jī)的3D 一致圖像到視頻生成】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！