相信很多大家對Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」誕生？還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

【新智元導讀】最近的論文表明，LLM等生成模型可以通過搜索來擴展，并實現(xiàn)非常顯著的性能提升。另一個復現(xiàn)實驗也發(fā)現(xiàn)，讓參數(shù)量僅8B的Llama3.1模型搜索100次，即可在Python代碼生成任務上達到GPT-4o同等水平。

強化學習先驅、加拿大阿爾伯塔大學CS系教授Rich Sutton曾在2019年寫下一篇名為《The Bitter Lesson》的博文，成為AI領域的經典論述之一。

甚至，Rich Sutton在字里行間體現(xiàn)出的直覺已經頗有Scaling Law的意味。

原文地址:https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf

文章簡要回顧了AI在象棋、圍棋、語音識別和視覺等領域的發(fā)展道路，并提出了這樣的觀點:

然而，這個觀點和Scaling Law并不完全一樣，我們也不能以此為據(jù)，認為小型模型注定無關緊要。

正如Sutton所描述的，擴展這條路上我們有兩板斧:學習和搜索。

OpenAI提出的Scaling Law更強調前者。在其他條件不變時，較大的模型表現(xiàn)更好，因為可以從訓練集中學習到更多知識和模式。

但我們往往忽略的是后者。搜索方法也可以在推理階段隨算力增長進行平滑的擴展，以生成更多或者更高質量的候選答案。

斯坦福、牛津、DeepMind等機構的學者最近發(fā)表的一篇文章就關注到了這一點。

論文地址:https://arxiv.org/abs/2407.21787

隨著推理階段重復采樣數(shù)量的提升，模型在GSM8K、MATH、MiniF2F-Math、SWE-bench Lite等數(shù)學、推理、代碼領域的性能（即問題覆蓋率）都有顯著提升。

甚至，二者之間似乎存在指數(shù)線性關系，并可以用指數(shù)冪律建模，似乎能說明推理階段縮放定律的存在。

受到這篇論文的啟發(fā)，兩位工程師開始嘗試復現(xiàn)——結果是，用100個小Llama模型進行搜索，即可在Python編程任務中追趕甚至打敗GPT-4o。

兩位作者用了一個形象的比喻:以前，需要一匹馬大小的鴨子才能獲得邊界能力;但現(xiàn)在，我們可以選擇用100只鴨子大小的馬（或者更確切地說，是羊駝Llama）。

實驗所用的源代碼已上傳至GitHub，而且復現(xiàn)成本相當?shù)汀?/p>

https://gist.github.com/charlesfrye/27f25188dbbcfdf20a83c0230020fe05

為了嘗試較高性能，作者使用了vLLM庫實現(xiàn)批量推理，并將硬件條件擴展到10個A100-40GB GPU，輸出速度達到40k token/s。

評估指標和結果

作者選擇了上述的Large Language Monkeys論文中未涵蓋的基準測試——HumanEval。

這個數(shù)據(jù)集的好處在于，使用運行測試對生成的代碼進行評估，而不需要LLM-as-Judge或人類評估的參與，能更加客觀地衡量其正確性。

模型的性能通過pass@k和fail@k兩個指標衡量。根據(jù)PapersWithCode的報告結果，在零樣本推理時，GPT-4o的pass@1成績?yōu)?0.2%。

https://paperswithcode.com/sota/code-generation-on-humaneval

使用上述論文提出的方法，加上最少量的prompt微調（未調整其他超參數(shù)），Llama3.18B的pass@k分數(shù)就有顯著提升。

重復采樣數(shù)k為100時，性能與GPT-4o相當（90.5% vs.90.2%）;k達到1000時，分數(shù)為95.1%，明顯優(yōu)于GPT-4o。

如果使用fail@k指標（相當于1-pass@k），再將上圖中的兩個坐標軸進行對數(shù)變換，就可以看到下圖所示的曲線，似乎完美符合「縮放定律」。

值得注意的是，這個小實驗并不是對論文的嚴格復現(xiàn)，僅是提取了其中的核心方法。

然而，這些結果更加強調了，使用搜索方法進行推理階段增強時，較小的模型能以可預測的方式勝過GPT-4o這樣的「巨無霸」模型。

「搜索」的未來

搜索方法之所以強大，正是因為它能隨著計算量的增加進行「透明」的擴展，還可以將資源消耗從內存轉移至計算，實現(xiàn)進一步的資源平衡。

最近AI在數(shù)學方面的重大成果，比如DeepMind的AlphaProof和AlphaGeometry取得了IMO銀牌的水平，以及得到驗證的「忙碌海貍」問題，都離不開其中使用的搜索。

然而，搜索的實現(xiàn)首先需要對結果進行高質量的評估。DeepMind的模型將自然語言表述的數(shù)學問題翻譯為形式化表述，從而得到Lean這種編譯器/驗證器的詳細監(jiān)督。

陶哲軒也曾在采訪中不斷強調，「形式化」對AI在數(shù)學領域的應用十分重要，可以使并行程度和自動化程度大大提高。

根據(jù)Curry-Howard-Lambek對應關系，對數(shù)學證明和代碼生成結果而言，使用計算機程序進行自動化識別和評估會相對容易。

但類似的方法可能會在數(shù)學和編程以外的領域失效。比如，對于「總結電子郵件」這類開放式的NLP任務，就很難進行有效的搜索。

從這個角度來看，搜索是評估的下游。我們可以粗略地預期，生成模型在特定領域中的性能提升，將和評估、搜索能力成正比。

為達到這個目的，可重復數(shù)字環(huán)境中的agent似乎是一個有前景的方向。

參考資料:

https://modal.com/blog/llama-human-eval

以上就是關于【Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」誕生？】的相關內容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關。財經信息僅供讀者參考，并不構成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權請聯(lián)系刪除！