相信很多大家對一直爆料OpenAI「草莓」的賬號，竟然是個(gè)智能體？斯坦福系創(chuàng)企「炒作」AgentQ還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

當(dāng)炒作出了「潑天的流量」，已經(jīng)沒人關(guān)心產(chǎn)品厲不厲害了。

最近，OpenAI 的秘密項(xiàng)目「Q*」一直受到了圈內(nèi)人士的廣泛關(guān)注。上個(gè)月，以它為前身、代號為「草莓（Strawberry）」的項(xiàng)目又被曝光了。據(jù)推測，該項(xiàng)目能夠提供高級推理能力。

最近幾天，關(guān)于這個(gè)項(xiàng)目，網(wǎng)絡(luò)上又來了幾波「鴿死人不償命」的傳播。尤其是一個(gè)「草莓哥」的賬號，不間斷地宣傳，給人期望又讓人失望。

沒想到，這個(gè) Sam Altman 出現(xiàn)在哪里，它就在哪里跟帖的「營銷號」，皮下竟然是個(gè)智能體?

今天，一家 AI 智能體初創(chuàng)公司「MultiOn」的創(chuàng)始人直接出來認(rèn)領(lǐng):雖然沒等來 OpenAI 發(fā)布「Q*」，但我們發(fā)了操控「草莓哥」賬號的全新智能體 Agent Q，快來和我們在線玩耍吧!

MultiOn 聯(lián)合創(chuàng)始人兼 CEO Div Garg，他在斯坦福讀計(jì)算機(jī)科學(xué)博士期間休學(xué)創(chuàng)業(yè)。

這波看起來讓 OpenAI 給自己做嫁衣的營銷操作給大家都看懵了。畢竟，最近很多人徹夜未眠等待 OpenAI 的「大新聞」。這要追溯到 Sam Altman 和「草莓哥」的互動，在 Sam Altman 曬出的草莓照片下，他回復(fù)了「草莓哥」:驚喜馬上就來。

不過，「MultiOn」的創(chuàng)始人 Div Garg 已經(jīng)把認(rèn)領(lǐng) Agent Q 就是「草莓哥」的帖子悄悄刪了。

此次，「MultiOn」宣稱，他們發(fā)布的Agent Q 是一款突破性的 AI 智能體。它的訓(xùn)練方法結(jié)合了蒙特卡洛樹搜索（MCTS）和自我批評，并且通過一種叫做直接偏好優(yōu)化(DPO)的算法來學(xué)習(xí)人類的反饋。

與此同時(shí)，作為擁有規(guī)劃和 AI 自我修復(fù)功能的下一代 AI 智能體，Agent Q 的性能是 LLama3基線零樣本性能的3.4倍。同時(shí)，在真實(shí)場景任務(wù)的評估中，Agent Q 的成功率達(dá)到了95.4%。

Agent Q 能做什么呢?我們先來看一下官方 Demo。

它能夠?yàn)槟泐A(yù)定某個(gè)時(shí)間某家餐廳的座位。

然后為你執(zhí)行網(wǎng)頁操作，比如查詢空位情況。最終成功預(yù)定。

此外還能預(yù)定航班（比如本周六從紐約飛往舊金山，單程、靠窗和經(jīng)濟(jì)艙）。

不過，網(wǎng)友似乎對 Agent Q 并不買賬。大家關(guān)心更多的還是他們是否真的借「草莓哥」賬號炒作的事情，甚至有些人稱他們?yōu)闊o恥的騙子。

重要組件和方法概覽

目前，Agent Q 的相關(guān)論文已經(jīng)放出，由 MultiOn 和斯坦福大學(xué)的研究者聯(lián)合撰寫。這項(xiàng)研究的成果將在今年晚些時(shí)候向開發(fā)人員和使用 MultiOn 的普通用戶開放。

論文地址:https://multion-research.s3.us-east-2.amazonaws.com/AgentQ.pdf

總結(jié)一波:Agent Q 能夠自主地在網(wǎng)頁上實(shí)施規(guī)劃并自我糾錯(cuò)，從成功和失敗的經(jīng)驗(yàn)中學(xué)習(xí)，提高它在復(fù)雜任務(wù)中的表現(xiàn)。最終，該智能體可以更好地規(guī)劃如何在互聯(lián)網(wǎng)上沖浪，以適應(yīng)現(xiàn)實(shí)世界的復(fù)雜情況。

在技術(shù)細(xì)節(jié)上， Agent Q 的主要組件包括如下:

使用 MCTS（Monte Carlo Tree Search，蒙特卡洛樹搜索）進(jìn)行引導(dǎo)式搜索:該技術(shù)通過探索不同的操作和網(wǎng)頁來自主生成數(shù)據(jù)，以平衡探索和利用。MCTS 使用高采樣溫度和多樣化提示來擴(kuò)展操作空間，確保多樣化和最佳的軌跡集合。

AI 自我批評:在每個(gè)步驟中，基于 AI 的自我批評都會提供有價(jià)值的反饋，從而完善智能體的決策過程。這一步驟級反饋對于長期任務(wù)至關(guān)重要，因?yàn)橄∈栊盘柾ǔ?dǎo)致學(xué)習(xí)困難。

直接偏好優(yōu)化（DPO）:該算法通過從 MCTS 生成的數(shù)據(jù)構(gòu)建偏好對以微調(diào)模型。這種離策略訓(xùn)練方法允許模型從聚合數(shù)據(jù)集（包括搜索過程中探索的次優(yōu)分支）中有效地學(xué)習(xí)，從而提高復(fù)雜環(huán)境中的成功率。

下面重點(diǎn)講一下網(wǎng)頁（Web-Page）端的 MCTS 算法。研究者探索了如何通過 MCTS 賦予智能體額外的搜索能力。

在以往的工作中，MCTS 算法通常由四個(gè)階段組成:選擇、擴(kuò)展、模擬和反向傳播，每個(gè)階段在平衡探索與利用、迭代細(xì)化策略方面都發(fā)揮著關(guān)鍵作用。

研究者將網(wǎng)頁智能體執(zhí)行公式化為網(wǎng)頁樹搜索，其中狀態(tài)由智能體歷史和當(dāng)前網(wǎng)頁的 DOM 樹組成。與國際象棋或圍棋等棋盤游戲不同，研究者使用的復(fù)雜網(wǎng)絡(luò)智能體操作空間是開放格式且可變的。

研究者將基礎(chǔ)模型用作操作建議（action-proposal）分布，并在每個(gè)節(jié)點(diǎn)(網(wǎng)頁)上采樣固定數(shù)量的可能操作。一旦在瀏覽器中選擇并執(zhí)行一個(gè)操作，則會遍歷下個(gè)網(wǎng)頁，并且該網(wǎng)頁與更新的歷史記錄共同成為新節(jié)點(diǎn)。

研究者對反饋模型進(jìn)行多次迭代查詢，每次從列表中刪除從上一次迭代中選擇的最佳操作，直到對所有操作進(jìn)行完整排序。下圖4為完整的 AI 反饋過程。

擴(kuò)展和回溯。研究者在瀏覽器環(huán)境中選擇并執(zhí)行一個(gè)操作以到達(dá)一個(gè)新節(jié)點(diǎn)（頁面）。從選定的狀態(tài)節(jié)點(diǎn)軌跡開始，他們使用當(dāng)前策略

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！