相信很多大家對Yandex開源LLM訓(xùn)練工具節(jié)省高達20%的GPU資源還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

2024年6 月11 日，莫斯科——跨國科技公司Yandex 最近推出了YaFSDP，這是一種用于訓(xùn)練大型語言模型(LLM)的開源方法。YaFSDP是目前最有效的公開可用工具，用于增強GPU 通信并減少LLM 訓(xùn)練中的內(nèi)存使用量，與FSDP相比，其訓(xùn)練速度提升最高可達26%，具體取決于架構(gòu)和參數(shù)數(shù)量。通過使用YaFSDP 減少LLM 的訓(xùn)練時間可以節(jié)省高達20% 的GPU 資源。

Yandex承諾為全球人工智能社區(qū)的發(fā)展做出貢獻，將YaFSDP開源提供給全球的LLM開發(fā)人員和人工智能愛好者即是履行此承諾的其中一步。

“目前，我們正在積極嘗試各種模型架構(gòu)和參數(shù)大小，以擴展YaFSDP的多功能性，”Yandex高級開發(fā)專家、YaFSDP團隊成員Mikhail Khruschev指出，“我們很高興與全球ML 社區(qū)分享我們在LLM訓(xùn)練方面的研發(fā)成果，希望能為全球研究人員和開發(fā)者獲得更多的開源工具和更高的效率做出貢獻?！?/p>

YaFSDP案例

LLM訓(xùn)練是一個耗時且資源密集的過程。機器學(xué)習(xí)工程師和自主開發(fā)LLM 的公司投入了大量的時間和GPU資源（相當于金錢）來訓(xùn)練這些模型。模型越大，其訓(xùn)練所需的時間和費用就越高。

Yandex的YaFSDP優(yōu)化了學(xué)習(xí)速度和性能，使全球的AI開發(fā)人員在訓(xùn)練模型時可以使用更少的計算能力和GPU 資源。例如，在涉及具有700億個參數(shù)之模型的預(yù)訓(xùn)練場景中，使用YaFSDP 可以節(jié)省大約150 個GPU的資源，這意味著每月可以節(jié)省大約50 萬美元到150萬美元（取決于虛擬GPU 提供商或平臺）。

YaFSDP通過消除GPU通信效率低下來提升效能，確保訓(xùn)練時只需必要的處理器內(nèi)存，并使GPU 交互不間斷。

YaFSDP的訓(xùn)練效率

YaFSDP是FSDP 的增強版，在LLM訓(xùn)練中最耗通信的階段（如預(yù)訓(xùn)練、對齊和微調(diào)）中，其表現(xiàn)優(yōu)于FSDP 方法。YaFSDP在Llama 2 和Llama 3上展示的最終提速表明訓(xùn)練速度顯著提高，在Llama 2 70B 和Llama 3 70B 上分別達到21% 和26%。

MikhailKhruschev 表示：“YaFSDP在130 億至700億個參數(shù)的模型上表現(xiàn)出色，在300 億至700億個參數(shù)范圍內(nèi)表現(xiàn)尤為驚人。目前，YaFSDP最適合基于LLaMA架構(gòu)的廣泛使用之開源模型?！?/p>

YaFSDP并不是Yandex的第一個開源工具。該公司之前曾分享過其他幾款在ML 社區(qū)中很受歡迎的工具，包括：

CatBoost：一種高性能的基于決策樹之梯度提升庫。

YTsaurus：分布式存儲和處理的大數(shù)據(jù)平臺。

AQLM：最先進的量化算法之一，用于大型語言模型的極限壓縮。由 Yandex Research、HSE 大學(xué)、 IST Austria 及 NeuralMagic 共同開發(fā)。

Petals：是一個旨在簡化 LLM 訓(xùn)練和微調(diào)過程的庫，由 Yandex Research、HSE 大學(xué)、華盛頓大學(xué)、Hugging Face、巴黎-薩克雷高等經(jīng)濟學(xué)院和 Yandex 數(shù)據(jù)分析學(xué)院合作開發(fā)。

以上就是關(guān)于【Yandex開源LLM訓(xùn)練工具節(jié)省高達20%的GPU資源】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！