最新亚洲人成无码网站,夜夜操夜夜操夜夜爽,中文字日产幕乱五区,在线成人看片黄a免费看,亚洲自偷自拍另类11p

首頁 >> 知識精選 >

一種深度強化學(xué)習(xí)模型 允許AI代理跟蹤氣味羽流

2023-02-11 20:30:33 來源: 用戶: 

長期以來,科學(xué)家和工程師從動物的驚人能力中汲取靈感,并試圖在機器人和人工智能(AI)代理中對這些能力進行逆向工程或復(fù)制。其中一種行為是氣味羽流跟蹤,這是一些動物,特別是昆蟲,通常遠距離尋找感興趣的特定氣味(例如食物或配偶)來源的能力。

華盛頓大學(xué)和內(nèi)華達大學(xué)里諾分校的研究人員進行的一項新研究采用了一種使用人工神經(jīng)網(wǎng)絡(luò)(ANN)的創(chuàng)新方法來理解飛行昆蟲的這種非凡能力。他們的工作最近發(fā)表在《自然機器智能》上,舉例說明了人工智能如何推動突破性的新科學(xué)見解。

“我們有動力研究一種復(fù)雜的生物學(xué)行為,氣味羽流跟蹤,飛行昆蟲(和其他動物)用來尋找食物或配偶,”該研究的第一作者Satpreet H. Singh告訴Tech Xplore。“生物學(xué)家已經(jīng)通過實驗詳細研究了昆蟲羽流跟蹤的許多方面,因為它是昆蟲生存和繁殖的關(guān)鍵行為。

雖然羽流跟蹤是一種至關(guān)重要的生物學(xué)能力,但它也是生物智能的一個顯著例子,因為它需要整合對當前和以前經(jīng)歷的氣味的記憶,以及處理間歇性或不可靠的嗅覺線索和風(fēng)感信號,使昆蟲能夠快速適應(yīng)它們的飛行軌跡。

“他們這樣做時沒有他們飛行的環(huán)境的全球地圖,”辛格補充道。

如果在機器人或人工代理中可靠地復(fù)制,氣味羽流跟蹤可以讓研究人員制造出更好的機器人,可以檢測和跟蹤有害氣體泄漏、野火和其他環(huán)境威脅。

“我們沒有進行傳統(tǒng)的實驗室風(fēng)洞實驗,而是使用人工神經(jīng)網(wǎng)絡(luò)的互補'計算機'方法,”Singh解釋說。“這有助于我們在多個層面上對羽流跟蹤形成綜合理解,包括緊急行為、神經(jīng)表征和神經(jīng)動力學(xué)。

許多神經(jīng)科學(xué)家已經(jīng)開始使用在標記數(shù)據(jù)上訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)(ANN)來研究和人工復(fù)制生物過程。在他們的研究中,Singh和他的同事使用了深度強化學(xué)習(xí)(DRL),這是一種算法工具包,才剛剛開始在神經(jīng)科學(xué)中獲得牽引力,它使用模擬而不是標記數(shù)據(jù)來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。

“DRL最近在神經(jīng)科學(xué)之外的一些非常成功的應(yīng)用包括DeepMind著名的圍棋游戲AI,或者OpenAI最近的一些GPT語言模型,”Singh說。“就像在動物訓(xùn)練中一樣,DRL使用模擬的'獎勵'和'懲罰'來訓(xùn)練可以自主完成任務(wù)的ANN代理。

為了使用DRL訓(xùn)練他們的羽流跟蹤劑,研究人員首先模擬了位于總面積約為120米的多風(fēng)競技場內(nèi)散發(fā)的氣味。2.當他們的代理人確定氣味來源的位置時,他們得到了獎勵。相反,如果他們忘記了氣味羽流并離開了競技場,他們就會受到“懲罰”。

“經(jīng)過培訓(xùn)后,我們利用模擬器的靈活性來生成具有各種氣味濃度和風(fēng)力模式的羽流,以查看代理在不同條件下的精確行為,”辛格說。“在真實的風(fēng)洞中重現(xiàn)對羽流配置的這種細粒度控制將是一項相當費力的工作。

Singh和他的同事們還能夠觀察他們的人工神經(jīng)網(wǎng)絡(luò)的各個單位(即人工神經(jīng)元)的活動,因為它跟蹤了氣味羽流。在追蹤過程中,這種個體神經(jīng)元記錄尚未在昆蟲自由形態(tài)飛行期間收集到,因為它們是使用現(xiàn)有技術(shù)無法實現(xiàn)的。

“在我們訓(xùn)練有素的人工代理中出現(xiàn)的行為與生物學(xué)家之前在進行羽流跟蹤的飛行昆蟲中觀察到的行為模塊非常相似,”辛格說。

研究人員收集的記錄表明,他們的模型可能會復(fù)制支持動物氣味羽流追蹤的生物學(xué)過程。隨后,Singh和他的同事模擬了可以在未來的風(fēng)洞真實世界實驗中重現(xiàn)的羽流配置。

這些模擬使他們能夠生成不同的假設(shè),說明人工代理在不斷變化的風(fēng)力條件下跟蹤羽流時的行為。他們專門研究了風(fēng)向經(jīng)常變化的情況。

“利用來自ANN代理的同時行為和神經(jīng)觀察,我們對支持羽流跟蹤的算法和神經(jīng)計算產(chǎn)生了直覺和洞察力,”Singh解釋說。“例如,我們看到神經(jīng)活動編碼變量,例如自最后一次氣味相遇以來的時間,這些變量以前被假設(shè)對羽流跟蹤很重要。先前的實驗和計算結(jié)果之間的這些相似性表明,這些數(shù)量對于成功的羽流跟蹤至關(guān)重要。

除了實現(xiàn)關(guān)鍵技術(shù)進步外,還可以對ANN試劑進行逆向工程,以更好地了解它們的工作原理,這反過來又可能為神經(jīng)科學(xué)研究提供信息。因此,Singh和他的同事創(chuàng)建的模型也可能被神經(jīng)科學(xué)家用于研究氣味羽流跟蹤背后的生物學(xué)過程。

在未來,研究人員希望他們的模型能夠激發(fā)機器人代理的創(chuàng)建,這些機器人代理可以在搜救任務(wù),環(huán)境監(jiān)測工作和其他應(yīng)用中跟蹤氣味。在接下來的研究中,他們計劃通過提高模擬和代理的物理和生物保真度來進一步發(fā)展他們的模型,以便它們更好地代表現(xiàn)實世界的氣味羽流。此外,他們希望人工再現(xiàn)飛行昆蟲的其他生理特征和能力。

“還需要更多的理論工作來理解我們的人工神經(jīng)網(wǎng)絡(luò),進一步了解產(chǎn)生緊急行為的計算,”辛格補充道。“最后,我們的代理執(zhí)行一項任務(wù),即羽毛跟蹤,而飛行昆蟲的行為要豐富得多。開發(fā)可以重現(xiàn)如此豐富的生物復(fù)雜性的模擬和代理訓(xùn)練范式是一項艱巨的工程挑戰(zhàn),應(yīng)該激發(fā)未來的工作。

  免責(zé)聲明:本文由用戶上傳,與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考,并不構(gòu)成投資建議。投資者據(jù)此操作,風(fēng)險自擔。 如有侵權(quán)請聯(lián)系刪除!

 
分享:
最新文章