相信很多大家對(duì)Llama3-8B秒殺700億巨獸？北大博士生等全新「BoT」框架推理暴漲70倍，24點(diǎn)圖形推理一步成神還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

【新智元導(dǎo)讀】24點(diǎn)游戲、幾何圖形、一步將死問(wèn)題，這些推理密集型任務(wù)，難倒了一片大模型，怎么破?北大、UC伯克利、斯坦福研究者最近提出了一種全新的BoT方法，用思維模板大幅增強(qiáng)了推理性能。而Llama3-8B在BoT的加持下，竟多次超越Llama3-70B!

大語(yǔ)言模型不擅長(zhǎng)推理怎么辦?

用思維緩沖區(qū)（Buffer of Thoughts，BoT）來(lái)解決!

最近，北大、UC伯克利、斯坦福的研究人員提出了一種元緩沖區(qū)（meta-buffer）。它可以存儲(chǔ)一系列信息豐富的高級(jí)思維，也就是所謂的「思維模板」，它是從各種任務(wù)的問(wèn)題解決過(guò)程中蒸餾出來(lái)的。

論文地址:https://arxiv.org/abs/2406.04271

然后，對(duì)于每個(gè)問(wèn)題，都可以檢索相關(guān)的思維模板，然后用特定的推理結(jié)構(gòu)讓它自適應(yīng)，這樣就可以進(jìn)行有效的推理了!

在以往，24點(diǎn)游戲（Game of24）、幾何圖形任務(wù)(Geometric Shapes)、一步將死問(wèn)題(Checkmate-in-One)這些推理密集型任務(wù)，難倒了不少LLM。

24點(diǎn)游戲

而使用思維緩沖區(qū)（BoT）后，與之前的SOTA相比，LLM在24點(diǎn)游戲的性能提升了11%，幾何圖形任務(wù)的性能提升了20%，一步將死問(wèn)題的性能則一舉提升了50%。

分析顯示，BoT具有卓越的泛化能力和模型魯棒性。

甚至，原本在各項(xiàng)任務(wù)中慘敗的Llama3-8B小模型， 在BoT的加持下，竟然性能大升級(jí)，在多項(xiàng)任務(wù)上一舉超越了Llama3-70B!

在實(shí)驗(yàn)過(guò)程中，團(tuán)隊(duì)設(shè)計(jì)了一種緩沖區(qū)管理器（buffer-manager）。這種管理器可以從各種解決方案中，蒸餾出思維模板，而隨著LLM解決的任務(wù)越來(lái)越多，元緩沖區(qū)的容量也在不斷增大。

而且，BoT的成本也很香，平均只需要多查詢提示方法成本的12%。

幾何圖形推理任務(wù)

LLM推理難，兩種方法均有局限

咱們都知道，GPT-4、PaLM、Llama這些大模型選手，都是完成推理任務(wù)的佼佼者了。

怎么能讓它們的推理性能變強(qiáng)，更上一層樓呢?

除了擴(kuò)大模型規(guī)模，還有一個(gè)辦法，就是通過(guò)更有效的提示方法。

具體來(lái)說(shuō)，這些方法分為兩類。

1. 單查詢推理

這類方法主要是靠提示工程，讓推理過(guò)程在單個(gè)查詢中完成，比如CoT的「讓我們一步一步思考」。

或者Few-shot Prompting，能提供與任務(wù)相關(guān)的示例來(lái)幫助生成答案。

然而，單查詢推理通常需要事先假設(shè)或推理過(guò)程的相關(guān)示例，逐個(gè)任務(wù)地手動(dòng)設(shè)計(jì)，顯然是不切實(shí)際的。因而它缺乏普適性和泛化性。

2. 多查詢推理

包括Least-to-Most、ToT、GoT等，它們側(cè)重于利用多個(gè)LLM查詢，來(lái)引出不同的合理推理路徑，從而將復(fù)雜問(wèn)題分解為一系列更簡(jiǎn)單的子問(wèn)題。

然而，由于推理路徑的遞歸擴(kuò)展，多查詢推理在為每個(gè)特定任務(wù)找到推理過(guò)程背后唯一的內(nèi)在結(jié)構(gòu)時(shí)，通常是計(jì)算密集型的。

另外，這兩種方法都受限于設(shè)計(jì)范例和推理結(jié)構(gòu)的限制，而且之前的任務(wù)做完了就做完了，它們不會(huì)從中得到高級(jí)的指導(dǎo)方針和思維。再遇到類似問(wèn)題時(shí)，它們依然效率很低。

因此，BoT誕生了!

這種新穎、多功能的思維增強(qiáng)框架，能夠規(guī)避上述兩種方法的弱點(diǎn)。

單查詢、多查詢都和BoT方法之間的比較

BoT有三個(gè)關(guān)鍵優(yōu)勢(shì)——

1. 準(zhǔn)確性:通過(guò)共享的思維模板，LLM可以自適應(yīng)地實(shí)例化高層次思維來(lái)解決不同任務(wù)，由于期間無(wú)需從頭構(gòu)建推理結(jié)構(gòu)，因此推理的準(zhǔn)確性便得到了提高。

2. 推理效率:通過(guò)思維增強(qiáng)推理，LLM能夠直接利用信息豐富的歷史推理結(jié)構(gòu)進(jìn)行推理，由于期間無(wú)需復(fù)雜的多查詢過(guò)程，因此推理的效率便得到了提高。

3. 魯棒性:從思維檢索到思維實(shí)例化的過(guò)程，類似于人類的思維過(guò)程，這就讓LLM能夠以一致的方式解決類似問(wèn)題，從而顯著增強(qiáng)了模型的魯棒性。

國(guó)際象棋中的「一步將死」

Buffer of Thoughts

從圖2中，可以看出BoT是怎樣用核心思維增強(qiáng)推理任務(wù)的。

對(duì)于給定的特定任務(wù)，團(tuán)隊(duì)首先會(huì)用問(wèn)題蒸餾器來(lái)提取關(guān)鍵認(rèn)為的具體信息，以及相關(guān)限制。

蒸餾出這些信息后，就可以在包含了一系列高級(jí)思維（思維模板）的元緩沖區(qū)中進(jìn)行搜索了。這個(gè)過(guò)程中，會(huì)檢索到與任務(wù)最相關(guān)的思維模板。

隨后，就可以用更多特定任務(wù)的推理結(jié)構(gòu)，實(shí)例化搜索到的思維模板，進(jìn)行推理過(guò)程。

最后一步，就是使用緩沖區(qū)管理器來(lái)總結(jié)整個(gè)問(wèn)題解決過(guò)程，并且蒸餾出增加其容量的高層思維。

不同推理過(guò)程的示意圖（橙色為思維模板，藍(lán)色為實(shí)例化的思維）

大多數(shù)復(fù)雜任務(wù)，都包含隱含的約束、復(fù)雜的對(duì)象關(guān)系以及上下文中的復(fù)雜變量和參數(shù)。

因此，在推理階段，LLM需要克服三個(gè)主要挑戰(zhàn):提取重要信息、識(shí)別潛在約束以及進(jìn)行準(zhǔn)確推理。

對(duì)于單個(gè)LLM，這些挑戰(zhàn)會(huì)造成顯著的負(fù)擔(dān)。

因此，團(tuán)隊(duì)選擇將任務(wù)信息的提取和理解階段與最終的推理階段分開(kāi)，通過(guò)在推理過(guò)程中添加一個(gè)問(wèn)題蒸餾器來(lái)實(shí)現(xiàn)。

為此，他們?cè)O(shè)計(jì)了一個(gè)元提示（meta prompt）φ，用于首先蒸餾和形式化任務(wù)信息。

蒸餾后的任務(wù)信息可以表示為:

問(wèn)題蒸餾器的詳細(xì)元提示如下:

- 動(dòng)機(jī)

人類在解決問(wèn)題時(shí)，常?？偨Y(jié)和歸納出高層次的指導(dǎo)方針，然后將其應(yīng)用于相關(guān)問(wèn)題。

正是受此啟發(fā)，團(tuán)隊(duì)提出了元緩沖區(qū)（meta-buffer），這是一種包含一系列高層次思維(思維模板)的輕量級(jí)庫(kù)，用于解決各種類型的問(wèn)題。

與傳統(tǒng)方法不同，這種高層次思維模板可以在解決不同問(wèn)題時(shí)自適應(yīng)地實(shí)例化，從而為L(zhǎng)LM提供更高的精度和靈活性。

- 思維模板

作為一種高層次的指導(dǎo)方針，思維模板存儲(chǔ)在元緩沖區(qū)中，并由緩沖區(qū)管理器從各種問(wèn)題解決過(guò)程中獲取。

為了讓BoT能夠?yàn)楦鞣N任務(wù)提供通用的推理方法，團(tuán)隊(duì)相應(yīng)地將思維模板分類為六類:文本理解、創(chuàng)造性語(yǔ)言生成、常識(shí)推理、數(shù)學(xué)推理、代碼編程和應(yīng)用調(diào)度。

這樣的思維模板分類，可以促進(jìn)模板檢索，找到最適合解決不同問(wèn)題的方案。

其中，思維模板、模板描述及其對(duì)應(yīng)的類別表示為 （Ti， D_Ti， Ck），其中i表示元模板的索引，k∈Z^+且1≤k≤6。

以下就是六個(gè)不同類別的思維模板示例。

1.文本理解

在這個(gè)任務(wù)中，LLM需要分析一張涉及企鵝各種屬性（如姓名、年齡、身高、體重）的表格，然后回答有關(guān)這些屬性的問(wèn)題。

2.創(chuàng)造性語(yǔ)言生成

在這項(xiàng)任務(wù)中，LLM需要生成一首十四行詩(shī)，遵循傳統(tǒng)的押韻模式「ABAB CDCD EFEF GG」，并在詩(shī)中逐字包含三個(gè)特定的詞。

3.常識(shí)推理

在這項(xiàng)任務(wù)中，會(huì)給出任務(wù)的日期和事件（例如假期或歷史事件），讓LLM確定日期。

4.數(shù)學(xué)推理

在這項(xiàng)任務(wù)中，LLM需要解決形式為ax^2+ bx + c =0的二次方程，并考慮所有可能的情況。

5.代碼編程

在這項(xiàng)任務(wù)中，會(huì)給定一組數(shù)字，此時(shí)LLM需要嘗試?yán)盟姆N基本數(shù)學(xué)運(yùn)算（加、減、乘、除）來(lái)得到目標(biāo)數(shù)字。

6. 應(yīng)用調(diào)度

在這項(xiàng)任務(wù)中，LLM需要根據(jù)給定的國(guó)際象棋的標(biāo)準(zhǔn)代數(shù)記譜法（SAN）棋步，更新棋盤狀態(tài)。

- 模板檢索

對(duì)于每個(gè)任務(wù)，BoT會(huì)通過(guò)計(jì)算描述D_Ti和蒸餾問(wèn)題xd之間的嵌入相似性，檢索出與蒸餾問(wèn)題xd高度相似的思維模板Ti。

其中，檢索過(guò)程可以表述為:

- 實(shí)例化推理

第一種情況是BoT成功為任務(wù)檢索到一個(gè)思維模板Tj。

這時(shí)，BoT將使用團(tuán)隊(duì)設(shè)計(jì)的實(shí)例化提示自適應(yīng)地實(shí)例化為合適的推理結(jié)構(gòu)。

例如，在一步將死問(wèn)題中，就會(huì)使用蒸餾信息xd和檢索到的模板Tj對(duì)任務(wù)x進(jìn)行實(shí)例化推理，并生成其解決方案Sx，如下所示:

第二種情況是BoT將該任務(wù)被識(shí)別為一個(gè)新的任務(wù)。

為此，團(tuán)隊(duì)準(zhǔn)備了三個(gè)通用的粗粒度思維模板，而BoT則會(huì)基于蒸餾的任務(wù)信息xd，自動(dòng)分配一個(gè)合適的思維模板到推理過(guò)程中。

緩沖區(qū)管理器（buffer-manager）的作用是，總結(jié)從每個(gè)問(wèn)題解決過(guò)程中獲得的高層次指導(dǎo)方針和思維。

它可以將每個(gè)具體解決方案推廣到更多問(wèn)題中，并以思維模板的形式將關(guān)鍵的蒸餾知識(shí)存儲(chǔ)在元緩沖區(qū)中。

與為每個(gè)問(wèn)題臨時(shí)生成示例或指令的方法不同，緩沖區(qū)管理器可以確保在準(zhǔn)確性、效率和魯棒性方面的永久性提升。

- 模板蒸餾

為了提取通用的思維模板，團(tuán)隊(duì)提出了一個(gè)三步法:

（1）核心任務(wù)總結(jié):識(shí)別并描述問(wèn)題的基本類型和核心挑戰(zhàn);

（2）解決步驟描述:總結(jié)解決問(wèn)題的一般步驟;

（3）通用回答模板:基于上述分析，提出一個(gè)可以廣泛應(yīng)用于類似問(wèn)題的解決模板或方法。

此外，為了提高模板蒸餾的泛化能力和穩(wěn)定性，團(tuán)隊(duì)精心設(shè)計(jì)了兩種上下文示例來(lái)生成思維模板——任務(wù)內(nèi)示例和跨任務(wù)示例。

跨任務(wù)示是指，選擇從某個(gè)任務(wù)中蒸餾出的模板，來(lái)解決其他任務(wù)的問(wèn)題。例如，用與代碼相關(guān)的思維模板來(lái)解決數(shù)學(xué)問(wèn)題。

從輸入任務(wù)x中蒸餾出的新模板可以表示為:

- 元緩沖區(qū)的動(dòng)態(tài)更新

在模板蒸餾之后，需要考慮是否將蒸餾的模板更新到元緩沖區(qū)中。

- 如果初始化了一個(gè)空的元緩沖區(qū)或遇到?jīng)]有合適思維模板的問(wèn)題，蒸餾的思維模板將直接存儲(chǔ)在元緩沖區(qū)中;

- 如果是用了檢索到的思維模板解決的問(wèn)題，也可能會(huì)在實(shí)例化某個(gè)思維模板的過(guò)程中會(huì)產(chǎn)生新的見(jiàn)解。

因此，為了在保持新生成有用思維的同時(shí)避免元緩沖區(qū)的冗余，需要計(jì)算

和

。

的嵌入向量之間的相似性，并根據(jù)以下規(guī)則更新元緩沖區(qū):

否則，這意味著元緩沖區(qū)已經(jīng)具備解決此任務(wù)所需的知識(shí)，不需要進(jìn)行更新。

這種動(dòng)態(tài)更新策略有效減少了模板檢索的計(jì)算負(fù)擔(dān)，同時(shí)確保了元緩沖區(qū)的輕量化特性。

實(shí)驗(yàn)結(jié)果

- 數(shù)據(jù)集和任務(wù)

為了評(píng)估BoT的有效性，并與之前的方法進(jìn)行比較，團(tuán)隊(duì)選擇了一組多樣化的任務(wù)和數(shù)據(jù)集。

這些任務(wù)和數(shù)據(jù)集需要不同程度的數(shù)學(xué)和算法推理、特定領(lǐng)域知識(shí)以及文學(xué)創(chuàng)造力:

1. 來(lái)自ToT的24點(diǎn)游戲（Game of24）

2. 三個(gè)BIG-Bench Hard （BBH）任務(wù):幾何圖形(Geometric Shapes)，多步算術(shù)二(Multi-Step Arithmetic Two)，和單詞排序(Word Sorting);

3. 直接從BIG-Bench中獲得的三個(gè)推理任務(wù):一步將死（Checkmate-in-One）、企鵝(Penguins)，以及日期理解(DateUnderstanding);

4. Python編程題（P3），一組用Python編寫的具有不同難度級(jí)別的挑戰(zhàn)性編程題;

5. 多語(yǔ)言小學(xué)數(shù)學(xué)（MGSM），GSM8K數(shù)據(jù)集的多語(yǔ)言版本，包含十種語(yǔ)言類型(包括孟加拉語(yǔ)、日語(yǔ)和斯瓦希里語(yǔ));

6. 根據(jù)元提示進(jìn)行的莎士比亞十四行詩(shī)寫作（Sonnet Writing）。

- 實(shí)現(xiàn)和基線

為了與之前的方法進(jìn)行公平比較，團(tuán)隊(duì)選擇了GPT-4作為BoT的基線模型。

并且還在NVIDIA A100-PCIE-40GB GPU上使用Llama3-8B和Llama3-70B進(jìn)行了分析。

- 推理準(zhǔn)確性

結(jié)果顯示，BoT在多個(gè)具有挑戰(zhàn)性的基準(zhǔn)測(cè)試中始終優(yōu)于所有之前的提示方法，特別是在諸如如24點(diǎn)游戲和一步將死這類的復(fù)雜推理任務(wù)上。

在24點(diǎn)游戲中，與原始GPT-4相比，BoT的準(zhǔn)確性實(shí)現(xiàn)了高達(dá)79.4%的驚人提升;而與該項(xiàng)之前的SOTA——ToT相比，BoT也實(shí)現(xiàn)了8.4%的提升。

與最近提出的元提示相比，BoT在24點(diǎn)游戲中提高了23%的準(zhǔn)確性，在幾何圖形中提高了20%，在一步將死中提高了51%。

現(xiàn)有方法需要復(fù)雜的、迭代的和啟發(fā)式的搜索策略來(lái)逐個(gè)解決這些問(wèn)題。

而BoT則會(huì)利用思維模板中的歷史見(jiàn)解和信息性指導(dǎo)方針，并自適應(yīng)地實(shí)例化一個(gè)更優(yōu)的推理結(jié)構(gòu)來(lái)解決這些復(fù)雜問(wèn)題。

- 推理效率

除了在準(zhǔn)確性上有著顯著提升之外，作為一種多查詢方法，BoT在各種任務(wù)中還可以實(shí)現(xiàn)與單查詢方法相當(dāng)?shù)耐评頃r(shí)間，同時(shí)顯著少于傳統(tǒng)的多查詢方法（如ToT）。

例如，在24點(diǎn)游戲中，單查詢和多查詢方法都需要迭代和啟發(fā)式搜索來(lái)找到可行的解決方案。

這個(gè)過(guò)程特別耗時(shí)且效率低下，尤其是對(duì)于多查詢方法，它涉及進(jìn)行多次查詢搜索和回溯階段。

相比之下，BoT能夠直接檢索代碼格式的思維模板，從而實(shí)例化一個(gè)程序來(lái)遍歷數(shù)字和符號(hào)的組合，從而無(wú)需從頭構(gòu)建推理結(jié)構(gòu)。

這使得在調(diào)用問(wèn)題蒸餾器后，僅用一次查詢即可解決問(wèn)題，顯著減少了復(fù)雜推理所需的時(shí)間。

值得注意的是，BoT平均僅需多查詢方法12%的成本。

- 推理魯棒性

為了更好地評(píng)估BoT，團(tuán)隊(duì)設(shè)計(jì)了一種用于評(píng)估推理魯棒性的新指標(biāo)——成功率。

首先，從各種基準(zhǔn)中隨機(jī)抽取1000個(gè)示例作為測(cè)試子集，并在該子集上評(píng)估不同的方法。其次，重復(fù)這一評(píng)估過(guò)程10次，并將平均準(zhǔn)確率作為不同方法在每個(gè)基準(zhǔn)上的成功率。

結(jié)果顯示，與其他方法相比，BoT在各種任務(wù)中都保持著最高的成功率——

不僅在平均成績(jī)上，比ToT高出了10%;甚至在24點(diǎn)游戲中，比原始的GPT-4高出了71%之多。

這是因?yàn)锽oT在不同任務(wù)中蒸餾的思維模板，有著出色的泛化能力。通過(guò)利用思維模板中提供高層次思維，BoT在不同任務(wù)中的穩(wěn)定性得到了極大提升。

模型分析

- 思維模板的分布分析

測(cè)試結(jié)果顯示，在包含更多多樣化場(chǎng)景的MGSM任務(wù)中，BoT生成了更多的思維模板。而在相對(duì)簡(jiǎn)單的任務(wù)中，則生成了更具針對(duì)性的固定思維模板。

模板的分布表明，BoT可以有效地為不同的基準(zhǔn)發(fā)現(xiàn)合適的思維模板。

- 時(shí)間成本分布分析

在時(shí)間成本方面，蒸餾任務(wù)信息和模板檢索所需的時(shí)間相對(duì)較短，而實(shí)例化推理所需的時(shí)間較長(zhǎng)。

考慮到不同組件的復(fù)雜性，BoT整體上還是實(shí)現(xiàn)了相對(duì)平衡的時(shí)間成本分布，展示出了新框架的高效。

思維模板和時(shí)間的分布分析（左為思維模板;右為時(shí)間成本）

- 更好的規(guī)模與性能權(quán)衡

可以看到，原始Llama3-8B和Llama3-70B模型在測(cè)試任務(wù)中的表現(xiàn)很差，但在獲得BoT的加持之后，它們的準(zhǔn)確性都有顯著提升。

不僅如此，BoT+Llama3-8B還在24點(diǎn)游戲和一步將死任務(wù)中成功實(shí)現(xiàn)了對(duì)Llama3-70B的大幅超越。

消融研究

- 問(wèn)題蒸餾器的影響

當(dāng)問(wèn)題蒸餾器被禁用時(shí)，Llama3-70B和GPT-4的準(zhǔn)確性都有所下降。

其中，在諸如24點(diǎn)游戲和一步將死這類更為復(fù)雜的問(wèn)題上，降幅更為明顯。而在諸如單詞排序和MGSM這類相對(duì)簡(jiǎn)單的問(wèn)題上，降幅較小。

這是因?yàn)?，在處理?fù)雜問(wèn)題時(shí)，提取關(guān)鍵信息和潛在約束更具挑戰(zhàn)性，由此使得問(wèn)題蒸餾器的作用更加突出。

- 元緩沖區(qū)的影響

當(dāng)元緩沖區(qū)被禁用時(shí)，Llama3-70B和GPT-4模型的性能顯著下降，特別是在需要復(fù)雜推理的基準(zhǔn)測(cè)試中，如24點(diǎn)游戲和一步將死。

這進(jìn)一步強(qiáng)調(diào)了我們?cè)彌_區(qū)在解決復(fù)雜問(wèn)題上的優(yōu)勢(shì)。

- 緩沖區(qū)管理器的影響

實(shí)驗(yàn)共分4輪，每一輪都會(huì)從各個(gè)基準(zhǔn)中隨機(jī)抽取50個(gè)問(wèn)題并進(jìn)行推理。

隨著輪次的增加，帶有緩沖區(qū)管理器的模型不斷擴(kuò)展元緩沖區(qū)，同時(shí)利用從先前解決的問(wèn)題中獲得的思維模板來(lái)幫助解決后續(xù)類似的問(wèn)題。

因此可以看到，BoT的準(zhǔn)確性在每一輪中穩(wěn)步提高。相反，沒(méi)有緩沖區(qū)管理器的模型未能表現(xiàn)出上升趨勢(shì)。

推理時(shí)間方面，當(dāng)輪次增加時(shí)，帶有緩沖區(qū)管理器的模型的推理效率會(huì)持續(xù)提高。

這是因?yàn)殡S著元緩沖區(qū)的不斷擴(kuò)展，檢索到合適思維模板的可能性也增加。因此，模型可以避免從頭構(gòu)建推理結(jié)構(gòu)，從而相應(yīng)地提高推理效率。

作者介紹

論文的共同一作Ling Yang目前是北京大學(xué)的三年級(jí)博士生，導(dǎo)師是Bin Cui、Luxia Zhang和Ming-Hsuan Yang。

他的研究興趣包括擴(kuò)散模型（Diffusion Models）、多模態(tài)學(xué)習(xí)(Multimodal Learning)和AI for Science。

他曾擔(dān)任多個(gè)國(guó)際會(huì)議和期刊的程序委員會(huì)成員或?qū)徃迦?，包括SIGGRAPH、TPAMI、ICML、ICLR、NeurIPS、CVPR、KDD、AAAI。

崔斌（Bin Cui）

崔斌現(xiàn)為北京大學(xué)計(jì)算機(jī)學(xué)院教授、博士生導(dǎo)師，擔(dān)任數(shù)據(jù)科學(xué)與工程研究所長(zhǎng)。在相關(guān)領(lǐng)域頂級(jí)會(huì)議和期刊發(fā)表學(xué)術(shù)論文300多篇。

他主持和承擔(dān)多個(gè)科研項(xiàng)目，如國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃、核高基項(xiàng)目、863計(jì)劃等。

他擔(dān)任/曾擔(dān)任中國(guó)計(jì)算機(jī)學(xué)會(huì)理事、數(shù)據(jù)庫(kù)專委會(huì)副主任，VLDB理事會(huì)理事，DSE期刊主編，IEEE TKDE、VLDB Journal、DAPD等國(guó)際期刊編委，擔(dān)任過(guò)數(shù)十個(gè)國(guó)際會(huì)議的程序委員會(huì)委員，包括一流國(guó)際會(huì)議SIGMOD、VLDB、ICDE、KDD等。

參考資料:

https://arxiv.org/abs/2406.04271

以上就是關(guān)于【Llama3-8B秒殺700億巨獸？北大博士生等全新「BoT」框架推理暴漲70倍，24點(diǎn)圖形推理一步成神】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！