相信很多大家對(duì)野心滿(mǎn)滿(mǎn)的Genesis：要讓你用一句話(huà)為機(jī)器人生成一整個(gè)世界還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

來(lái)自卡內(nèi)基梅隆大學(xué)、斯坦福大學(xué)、麻省理工計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室、英偉達(dá)和清華大學(xué)的眾多核心貢獻(xiàn)者推出了一個(gè)全新的物理仿真平臺(tái)Genesis，專(zhuān)為通用機(jī)器人、具身人工智能和物理AI應(yīng)用而設(shè)計(jì)。

Genesis項(xiàng)目已經(jīng)開(kāi)發(fā)了2年，結(jié)合了生成式AI的創(chuàng)造力和真實(shí)世界物理的準(zhǔn)確性。能夠創(chuàng)建虛擬環(huán)境并進(jìn)行訓(xùn)練幫助機(jī)器理解物理世界、更好的與物理世界互動(dòng)，這種方式不僅逼真，而且速度和效率都很高。

Genesis同時(shí)具備多種功能:

- 通用物理引擎:一個(gè)從零開(kāi)始重新構(gòu)建的通用物理引擎，能夠模擬廣泛的材料和物理現(xiàn)象。

- 機(jī)器人仿真平臺(tái):一個(gè)輕量級(jí)、超快、符合 Python化且用戶(hù)友好的機(jī)器人仿真平臺(tái)。

據(jù)項(xiàng)目貢獻(xiàn)者CMU機(jī)器人研究所博士生Zhou Xian表示，Genesis的物理引擎完全采用純Python開(kāi)發(fā)，其速度卻比廣泛用于機(jī)器人模擬和強(qiáng)化學(xué)習(xí)研究的框架如Isaac Gym和MJX快10到80倍，且完全沒(méi)有犧牲精確度。僅需26秒便可在一塊RTX4090上訓(xùn)練出可遷移至現(xiàn)實(shí)世界的機(jī)器人運(yùn)動(dòng)策略。

使用單個(gè)RTX4090，Genesis能在不到2毫秒的時(shí)間內(nèi)同時(shí)為10000臺(tái)像高級(jí)Franka臂這樣的機(jī)器人手臂求解IK。這種速度和效率是前所未有的，為大規(guī)模機(jī)器人模擬、工業(yè)自動(dòng)化和復(fù)雜研究項(xiàng)目開(kāi)創(chuàng)了新的可能性。

- 照片級(jí)真實(shí)感渲染系統(tǒng):一個(gè)強(qiáng)大且快速的逼真渲染系統(tǒng)。

- 生成式數(shù)據(jù)引擎:能將用戶(hù)提示的自然語(yǔ)言描述轉(zhuǎn)化為多種形式的數(shù)據(jù)。

其核心在于，Genesis將多種先進(jìn)的物理求解器整合進(jìn)一個(gè)統(tǒng)一框架，提供了無(wú)與倫比的仿真能力。這一強(qiáng)大的基礎(chǔ)，輔以生成式代理框架，旨在自動(dòng)化數(shù)據(jù)生成，推動(dòng)機(jī)器人研究及更廣泛領(lǐng)域的邊界。

#01

Genesis的主要特點(diǎn)

-統(tǒng)一物理模擬:基于通用物理引擎，Genesis集成了尖端的求解器，以卓越的精度和保真度模擬廣泛的物理場(chǎng)景。

-生成式框架:生成式代理框架作為一個(gè)模塊化系統(tǒng)運(yùn)行，集成了多種生成模塊以處理不同的數(shù)據(jù)形態(tài)。這些模塊由一個(gè)高級(jí)代理進(jìn)行路由，無(wú)縫整合現(xiàn)有研究和持續(xù)進(jìn)展。

Genesis項(xiàng)目引入了一個(gè)生成式代理，能夠完全自主地處理教導(dǎo)機(jī)器人在真實(shí)環(huán)境中運(yùn)行的每個(gè)步驟。首先，它自主設(shè)計(jì)模擬真實(shí)世界空間的虛擬環(huán)境，如廚房、客廳和其他日常環(huán)境。然后，它為機(jī)器人提出要執(zhí)行的任務(wù)，比如打開(kāi)微波爐、拾取物品或在家具間導(dǎo)航。

-開(kāi)源可訪問(wèn)性:物理引擎和仿真平臺(tái)已開(kāi)源，研究人員和開(kāi)發(fā)者能夠自由探索、實(shí)驗(yàn)并創(chuàng)新。生成功能將逐步推出，以擴(kuò)大訪問(wèn)范圍。

-照片級(jí)真實(shí)感渲染:Genesis將超快渲染能力與視覺(jué)震撼效果相結(jié)合，使模擬更加沉浸式且逼真。

Genesis還支持角色動(dòng)作生成，比如能做出一個(gè)會(huì)雜技動(dòng)作的小悟空，還能生成各種機(jī)器人控制策略，例如整理書(shū)本的機(jī)械臂、能同步翻轉(zhuǎn)的無(wú)人機(jī)等等。

目前，Genesis團(tuán)隊(duì)正在開(kāi)源底層物理引擎和仿真平臺(tái)，官方稱(chēng)生成框架的訪問(wèn)權(quán)限將在不久的將來(lái)逐步推出。

不過(guò)，也有網(wǎng)友表示:用一個(gè)完全不存在的generate函數(shù)來(lái)演示有畫(huà)大餅的嫌疑?！熬退氵@部分內(nèi)容不開(kāi)源，也希望作者團(tuán)隊(duì)能出一個(gè)實(shí)機(jī)演示視頻?！?/p>

#02

又一個(gè)世界模擬器?更多是解決具身智能的數(shù)據(jù)瓶頸

Genesis團(tuán)隊(duì)的目標(biāo)是構(gòu)建一個(gè)通用數(shù)據(jù)引擎，利用上層生成框架自主創(chuàng)建物理世界，并伴隨多種數(shù)據(jù)模式，包括環(huán)境、攝像機(jī)運(yùn)動(dòng)、機(jī)器人任務(wù)提案、獎(jiǎng)勵(lì)函數(shù)、機(jī)器人策略、角色動(dòng)作、完全交互的3D 場(chǎng)景、開(kāi)放世界的關(guān)節(jié)資產(chǎn)等，旨在實(shí)現(xiàn)機(jī)器人、物理 AI 及其他應(yīng)用的完全自動(dòng)化數(shù)據(jù)生成。

顯然，它并不是一個(gè)世界模擬器/Sora。Genesis是物理引擎和生成式AI的混合體，主要的作用是為通用機(jī)器人學(xué)習(xí)的提供了一個(gè)統(tǒng)一的模擬平臺(tái)，通過(guò)降低物理模擬的門(mén)檻，虛擬再現(xiàn)現(xiàn)實(shí)世界，從而減少人類(lèi)在數(shù)據(jù)生成中的投入，實(shí)現(xiàn)機(jī)器人及相關(guān)領(lǐng)域中自動(dòng)化和自給自足的數(shù)據(jù)生態(tài)系統(tǒng)。

機(jī)器人的數(shù)據(jù)收集一直是一個(gè)棘手的問(wèn)題，一種方法是通過(guò)手動(dòng)操作機(jī)器人來(lái)采集數(shù)據(jù)，因?yàn)槭窃谡鎸?shí)物理世界中與機(jī)器人互動(dòng)，可以確切知道機(jī)器人的位置、如何與世界互動(dòng)，以及任務(wù)是如何成功或失敗的。然而現(xiàn)實(shí)世界的數(shù)據(jù)采集成本高、效率低、難以擴(kuò)展，并且存在各種局限性 （數(shù)據(jù)模態(tài)不完整、難以收集閉環(huán)數(shù)據(jù)等）。Genesis的解決方式是利用物理模擬和生成式AI技術(shù)，自主生成大量多樣化的訓(xùn)練數(shù)據(jù)，無(wú)需依賴(lài)昂貴的真機(jī)數(shù)據(jù)采集，從而降低數(shù)據(jù)獲取的門(mén)檻。

此外，許多仿真環(huán)境在物理特性和渲染效果方面與現(xiàn)實(shí)世界存在差距，導(dǎo)致訓(xùn)練出的機(jī)器人難以在現(xiàn)實(shí)世界中應(yīng)用，形成“Sim2Real Gap”。Genesis的解決方式是提供一個(gè)能夠模擬各種材料和物理現(xiàn)象的通用物理引擎，并采用真實(shí)感渲染系統(tǒng)，盡可能使仿真環(huán)境逼近真實(shí)世界，支持基于物理原理的觸覺(jué)傳感器模擬。類(lèi)似英偉達(dá)的Isaac Sim或Isaac Gym等項(xiàng)目通過(guò)仿真技術(shù)，加速了機(jī)器人領(lǐng)域的發(fā)展。

從展示的demo來(lái)看，Genesis支持自然語(yǔ)言描述生成相應(yīng)的場(chǎng)景，利用生成式AI技術(shù)生成傳感器數(shù)據(jù)和策略，渲染物理屬性的仿真也做得很到位，這對(duì)于解決具身數(shù)據(jù)稀缺，具有非常重要的意義。

關(guān)于機(jī)器人行業(yè)的仿真問(wèn)題，地瓜機(jī)器人云平臺(tái)副總裁秦玉森向硅星人表達(dá)了他的看法:

以阿波羅登月計(jì)劃為例，即便我們擁有當(dāng)年的所有數(shù)據(jù)資產(chǎn)，在今天也難以完全復(fù)刻這一壯舉。這不僅僅是因?yàn)樵S多原始電子元器件已經(jīng)停產(chǎn)，更重要的是，僅僅依靠更強(qiáng)大的算力和更多的數(shù)據(jù)并不能解決根本問(wèn)題。雖然現(xiàn)代智能手機(jī)的運(yùn)算能力已經(jīng)遠(yuǎn)超當(dāng)年的超級(jí)計(jì)算機(jī)，但在載人登月這樣的復(fù)雜工程面前，我們依然面臨重重挑戰(zhàn)。

“因?yàn)榛?jiǎn)為繁易，化繁為簡(jiǎn)難，缺少能在數(shù)學(xué)和工程上優(yōu)雅的做到化簡(jiǎn)，仿真只是徒增計(jì)算量?！?“仿真仿的足夠真，是需要算力和各種資源的，對(duì)于機(jī)器人來(lái)說(shuō)，那為何不直接在現(xiàn)實(shí)世界中不斷搭建呢?”

因此，他認(rèn)為Genesis作為引擎的價(jià)值在于可以讓仿真的工程在“工程架構(gòu)”相對(duì)優(yōu)雅，化繁為簡(jiǎn)的把調(diào)用引擎需要理解的各種物理屬性，變?yōu)槟芡ㄟ^(guò)自然語(yǔ)言進(jìn)行引擎搭建。

他表示，Genesis的本質(zhì)是證明了某條路可行，但距離真正的創(chuàng)造實(shí)際價(jià)值，還需要很多下游的產(chǎn)業(yè)人員配合。

“比如當(dāng)年英偉達(dá)Issac SIM應(yīng)該是2018年發(fā)布的，至今6年了，業(yè)界有人使用，但是還是在易用度上有些許問(wèn)題?！?/p>

Genesis的團(tuán)隊(duì)的Chuang Gan則在X上表示，“我認(rèn)識(shí)到許多機(jī)器人學(xué)家對(duì)此方法持懷疑態(tài)度，指出設(shè)置模擬器和解決模擬與現(xiàn)實(shí)差距的困難。他們主張僅專(zhuān)注于從現(xiàn)實(shí)世界數(shù)據(jù)中學(xué)習(xí)。我理解這些擔(dān)憂(yōu)，但我堅(jiān)信我們不能僅僅因?yàn)閯?chuàng)建一個(gè)好的物理模擬器具有挑戰(zhàn)性就繞過(guò)物理模擬器!”他說(shuō)，“請(qǐng)加入Genesis社區(qū)!我們希望說(shuō)服機(jī)器人界‘Generative Physics Simulator is all You Need!’”

Genesis或許還并不能做到“創(chuàng)世記”，但AI離真實(shí)的物理世界的確是越來(lái)越近了。

以上就是關(guān)于【野心滿(mǎn)滿(mǎn)的Genesis：要讓你用一句話(huà)為機(jī)器人生成一整個(gè)世界】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！

　　免責(zé)聲明：本文由用戶(hù)上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！