相信很多大家對(duì)IBM 推出高效 LLM 基準(zhǔn)測(cè)試方法，計(jì)算成本降低99%還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

站長(zhǎng)之家（ChinaZ.com）6月4日 消息:IBM 研究發(fā)布了一項(xiàng)突破性的 LLM（大型語(yǔ)言模型）基準(zhǔn)測(cè)試方法，承諾將計(jì)算成本降低高達(dá)99%。傳統(tǒng)的基準(zhǔn)測(cè)試，如斯坦福的 HELM，需要耗費(fèi)超過(guò)一天的時(shí)間，并且成本高達(dá)1萬(wàn)美元，這對(duì)開(kāi)發(fā)人員和研究人員來(lái)說(shuō)是一個(gè)昂貴的過(guò)程。隨著 LLMs 能力的增強(qiáng)，基準(zhǔn)測(cè)試的過(guò)程變得更加嚴(yán)格，需要大量的計(jì)算能力和時(shí)間。

IBM 的創(chuàng)新方法源自以色列的 IBM 研究實(shí)驗(yàn)室，由 Leshem Choshen 領(lǐng)導(dǎo)的團(tuán)隊(duì)開(kāi)發(fā)了一種新方法，大幅降低基準(zhǔn)測(cè)試的成本。他們并非運(yùn)行全尺寸基準(zhǔn)測(cè)試，而是設(shè)計(jì)了一個(gè)使用原始基準(zhǔn)測(cè)試規(guī)模的1% 的 “微型” 版本。令人驚訝的是，這些微型基準(zhǔn)測(cè)試已被證明幾乎同樣有效，可以在98% 的準(zhǔn)確度內(nèi)估計(jì)出全尺寸測(cè)試的性能。

該團(tuán)隊(duì)利用人工智能從完整基準(zhǔn)測(cè)試中選擇最具代表性的問(wèn)題，包含在微小版本中。這種選擇性方法確保較小的基準(zhǔn)測(cè)試仍然高度預(yù)測(cè)整體模型性能，消除了不貢獻(xiàn)有意義評(píng)估的冗余或無(wú)關(guān)緊要的問(wèn)題。

IBM 的高效方法引起了 AI 社區(qū)的關(guān)注，尤其是在2023年 NeurIPS 的高效 LLM 比賽中。面臨使用有限計(jì)算資源評(píng)估大量模型的挑戰(zhàn)，組織者與 IBM 合作實(shí)施了一個(gè)名為 Flash HELM 的簡(jiǎn)化基準(zhǔn)測(cè)試。這種高效方法使他們能夠迅速淘汰表現(xiàn)較差的模型，并將計(jì)算資源集中在最有前途的候選模型上，從而進(jìn)行及時(shí)和具有成本效益的評(píng)估。

Flash HELM 的成功展示了 IBM 高效基準(zhǔn)測(cè)試方法的潛力，促使其在 IBM 的 watsonx 平臺(tái)上評(píng)估所有 LLMs。成本節(jié)約可觀;例如，在像 HELM 這樣的基準(zhǔn)測(cè)試中評(píng)估 Granite13B 模型可能耗費(fèi)高達(dá)1000個(gè) GPU 小時(shí)，但使用高效基準(zhǔn)測(cè)試方法顯著降低了這些成本。

高效基準(zhǔn)測(cè)試不僅降低成本，還通過(guò)允許更快速地迭代和測(cè)試新算法來(lái)加速創(chuàng)新。IBM 研究人員，包括 Youssef Mroueh 在內(nèi)，指出這些方法使得更快速、更經(jīng)濟(jì)的評(píng)估成為可能，促進(jìn)了更加靈活的發(fā)展過(guò)程。

這一概念已經(jīng)超出了 IBM 的范疇。斯坦福實(shí)施了 Efficient-HELM，這是其傳統(tǒng)基準(zhǔn)測(cè)試的簡(jiǎn)化版本，為開(kāi)發(fā)人員提供了選擇示例數(shù)量和希望分配的計(jì)算資源量的靈活性。這一做法強(qiáng)調(diào)了一個(gè)新興共識(shí)，即更大的基準(zhǔn)測(cè)試不一定意味著更好的評(píng)估。

“大型基準(zhǔn)測(cè)試不一定通過(guò)變得更大而增加價(jià)值，”Choshen 說(shuō)?！斑@是我們的見(jiàn)解，我們希望它能夠引領(lǐng)更快速、更經(jīng)濟(jì)的 LLM 性能評(píng)估方法?！?/p>

IBM 的高效基準(zhǔn)測(cè)試方法代表了人工智能領(lǐng)域的重大進(jìn)步，為評(píng)估先進(jìn)語(yǔ)言模型所需的不斷增加的成本和資源需求提供了實(shí)際解決方案。

以上就是關(guān)于【IBM 推出高效 LLM 基準(zhǔn)測(cè)試方法，計(jì)算成本降低99%】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！

　　免責(zé)聲明：本文由用戶(hù)上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！