相信很多大家對(duì)破解ChatGPT驚人耗電！DeepMind新算法訓(xùn)練提效13倍，能耗暴降10倍還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

【新智元導(dǎo)讀】ChatGPT能耗驚人，該怎么解?谷歌DeepMind新算法JEST問世，讓LLM訓(xùn)練的迭代次數(shù)降低13倍，計(jì)算量減少10倍，或?qū)⒅厮蹵I未來(lái)。

ChatGPT早已成為世界耗能大戶:一天用掉超50萬(wàn)度電，相當(dāng)于1.7萬(wàn)個(gè)美國(guó)家庭的用電量!

然而，大模型對(duì)能源的吞噬，遠(yuǎn)不僅如此。

國(guó)際能源署（IEA）預(yù)測(cè)，從2022年到2026年，數(shù)據(jù)中心的用電量將翻一番。

圖源備注:圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

隨著AI計(jì)算需求的膨脹，還需要用水來(lái)冷卻計(jì)算系統(tǒng)。研究稱，微軟用水量從2021年到22年飆升了34%，ChatGPT每處理5-50個(gè)提示就會(huì)消耗接近半升水。

針對(duì)這種現(xiàn)狀，我們有更好的解決策略嗎?

最近，谷歌DeepMind研究團(tuán)隊(duì)提出了一種加快AI訓(xùn)練的新方法——多模態(tài)對(duì)比學(xué)習(xí)與聯(lián)合示例選擇（JEST），大大減少了所需的計(jì)算資源和時(shí)間。

JEST以13倍更少的迭代次數(shù)，以及10倍更少的計(jì)算量，超越了最先進(jìn)的模型!

論文地址:https://arxiv.org/pdf/2406.17711

預(yù)訓(xùn)練的參考模型，已經(jīng)學(xué)習(xí)了什么樣的數(shù)據(jù)是有「優(yōu)質(zhì)的」或「有用的」。然后通過模型，來(lái)引導(dǎo)數(shù)據(jù)選擇那些精心篩選過的小型數(shù)據(jù)集。

這一發(fā)現(xiàn)揭示了，數(shù)據(jù)篩選水平可以作為評(píng)判Scaling Law的一個(gè)新維度。

網(wǎng)友激動(dòng)表示，「我沒想到這么快就會(huì)發(fā)生。模型能夠自主選擇訓(xùn)練數(shù)據(jù)的能力是巨大的，因?yàn)樗褂?xùn)練變得顯著更容易，你不再需要猜測(cè)什么是高質(zhì)量的訓(xùn)練數(shù)據(jù)，你有一個(gè)能夠『理解』什么樣的數(shù)據(jù)對(duì)自身學(xué)習(xí)最有價(jià)值的模型」。

前谷歌、蘋果軟件工程師稱贊道，這項(xiàng)研究非常令人印象深刻。

從「超級(jí)batch」中篩選數(shù)據(jù)

無(wú)論是語(yǔ)言、視覺還是多模態(tài)模型，數(shù)據(jù)質(zhì)量是預(yù)訓(xùn)練性能的重要驅(qū)動(dòng)因素。比如Phi-3、Gemma2等模型的成功讓我們看到了，更少、更高質(zhì)量的數(shù)據(jù)有可能實(shí)現(xiàn)更強(qiáng)大的性能。

要篩選出高質(zhì)量的數(shù)據(jù)，數(shù)據(jù)管道的建立就成為重要的工作。現(xiàn)有的方法大體可以分為兩種:1）手動(dòng)管理2)基于模型的數(shù)據(jù)管理，用正在訓(xùn)練模型的特征選擇高質(zhì)量數(shù)據(jù)。

前者成本高昂且難以擴(kuò)展，后者則有望為多模態(tài)LLM實(shí)現(xiàn)Scaling Law。

然而，現(xiàn)有方法忽略了一個(gè)事實(shí)。

如果僅在單個(gè)數(shù)據(jù)點(diǎn)的層面進(jìn)行篩選，就沒有考慮到數(shù)據(jù)集以及batch的總體組成。畢竟，訓(xùn)練數(shù)據(jù)是以batch為單位，數(shù)據(jù)點(diǎn)之間的依賴性不可忽視。

許多計(jì)算機(jī)視覺的研究都曾表明，hard negatives（表達(dá)空間中相近但標(biāo)簽不同的樣本）相比可被平凡解的數(shù)據(jù)簇，能提供更有效的學(xué)習(xí)信號(hào)。

那么如何讓模型以batch為單位篩選數(shù)據(jù)呢?

論文提出的JEST算法正是要解決這個(gè)問題，原理很好理解:就是直接從「超級(jí)batch」中篩選出「子batch」。

技術(shù)介紹

用數(shù)學(xué)語(yǔ)言來(lái)描述這個(gè)問題，就是從大小為B的「超級(jí)batch」

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！