相信很多大家對ControlNet作者推新項目Omost 一句話變構(gòu)圖小作文 再也不用為寫提示詞頭疼了還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

站長之家（ChinaZ.com）6月3日 消息:近日，ControlNet的作者推出了一個全新的項目——Omost。這個項目對現(xiàn)有圖像模型的提示詞理解有著巨大的幫助。通過很短的提示詞，就可以生成非常詳細并且空間表現(xiàn)很準確的圖片。

Omost通過預(yù)定義的位置、偏移量和區(qū)域三大參數(shù)來簡化圖像元素的描述。這使得用戶能夠更直觀地指定圖像中各個元素的位置和大小，從而生成高質(zhì)量、符合預(yù)期的圖像。

使用Omost，你只需要輸入簡單的提示詞，LLM就可以生成圖像每個區(qū)域的簡單提示和位置信息。然后針對圖像九宮格的簡單提示詞繼續(xù)擴展，保證了每一部分都有非常詳細的描述。

比如，我輸入創(chuàng)建一個夢幻的空中城堡，然后它給我返回了一段非常詳細的圖像描述:

然后點擊生成圖像，它就會將上面的提示轉(zhuǎn)化為圖像返給你:

效果還不錯。我們也可以將提示詞復制到MJ中生成。效果如下:

更牛逼的是，Omost已經(jīng)完成的圖像整體布局可以保留，如果你想修改畫面中的某個元素，也只需要一句提示詞即可。比如你原來的畫面主體是龍，你可以直接把龍變成恐龍。

項目亮點:

自動擴展提示詞:Omost能夠?qū)⒑唵蔚奶崾驹~拆解成詳細的描述，從圖像整體到局部元素的位置和大小均能詳細說明。例如輸入“a funny cartoon batman fights joker”，系統(tǒng)會生成蝙蝠俠與小丑戰(zhàn)斗的完整圖像。

高靈活性:生成的圖像布局可以保留，用戶可以通過簡單的提示詞對圖像中的某個元素進行修改。比如，將龍變成恐龍，系統(tǒng)會根據(jù)新提示生成修改后的圖像。

圖像位置編碼:Omost通過將圖像劃分為729個不同的位置來簡化圖像元素的描述。每個位置包括預(yù)定義的參數(shù)，如位置、偏移量和區(qū)域，確保圖像生成的準確性和細致度。

子提示系統(tǒng):所有Omost LLM都經(jīng)過訓練，可以提供嚴格定義的“子提示”，這些子提示可以獨立描述事物，并任意組合形成完整的提示。這種設(shè)計提高了提示詞的靈活性和準確性。

注意力操縱:Omost使用注意力分數(shù)調(diào)整技術(shù)來控制圖像生成過程中的區(qū)域關(guān)注度，實現(xiàn)更精細的圖像生成。通過調(diào)整注意力分數(shù)，Omost能夠生成符合提示詞描述的圖像元素。

提示前綴樹:Omost引入提示前綴樹技術(shù)，通過合并子提示來改進提示理解和描述。例如，可以將路徑“a cat and a dog. the cat on the sofa”作為提示，從而生成相應(yīng)圖像。

Omost的實現(xiàn)和使用

Omost項目基于Llama3和Phi3變體模型，用戶可以通過提供簡單的提示詞來生成復雜的圖像。以下是該項目的幾個關(guān)鍵組件:

位置和偏移量:將圖像劃分為9個位置，每個位置進一步劃分為81個偏移量，共有729個邊界框，用于描述圖像元素的位置。

distance_to_viewer和HTML_web_color_name:用于調(diào)整圖像元素的視覺表現(xiàn)，通過組合這些參數(shù)可以生成粗略的圖像構(gòu)圖。

注意力操縱:基于注意力分數(shù)操作的baseline渲染器，通過調(diào)整注意力分數(shù)來控制不同區(qū)域的模型關(guān)注度。

應(yīng)用和前景

Omost技術(shù)的推出，不僅簡化了提示詞的編寫，還提高了圖像生成的精確度和靈活性。其應(yīng)用場景包括但不限于AI繪畫、圖像設(shè)計、廣告創(chuàng)意、教育等領(lǐng)域。用戶可以通過簡單的提示詞生成復雜的圖像，為創(chuàng)意設(shè)計提供了強大的工具支持。

項目頁:https://top.aibase.com/tool/omost

試玩地址:https://huggingface.co/spaces/lllyasviel/Omost

以上就是關(guān)于【ControlNet作者推新項目Omost 一句話變構(gòu)圖小作文 再也不用為寫提示詞頭疼了】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權(quán)請聯(lián)系刪除！