相信很多大家對昆侖萬維宣布開源2千億稀疏大模型Skywork-MoE 性能強勁成本更低還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

站長之家（ChinaZ.com）6月4日 消息:在大模型技術(shù)迅速發(fā)展的背景下，昆侖萬維公司開源了一個具有里程碑意義的稀疏大型語言模型Skywork-MoE。這個模型不僅在性能上表現(xiàn)出色，而且還大幅降低了推理成本，為應(yīng)對大規(guī)模密集型LLM帶來的挑戰(zhàn)提供了有效的解決方案。

Skywork-MoE模型特點:

開源和免費商用:Skywork-MoE的模型權(quán)重、技術(shù)報告完全開源，且免費商用，無需申請。

推理成本降低:該模型在保持性能強勁的同時，大幅降低了推理成本。

稀疏模型:Skywork-MoE是一個專家混合模型（MoE），通過將計算分配給專門的子模型或“專家”，提供了一種經(jīng)濟(jì)上更可行的替代方案。

支持單臺4090服務(wù)器推理:是首個支持用單臺4090服務(wù)器推理的開源千億MoE大模型。

技術(shù)細(xì)節(jié):

模型權(quán)重和開源倉庫:模型權(quán)重可在Hugging Face上下載，開源倉庫位于GitHub。

推理代碼:提供了支持8x4090服務(wù)器上8bit量化加載推理的代碼。

性能:在8x4090服務(wù)器上，使用昆侖萬維團(tuán)隊首創(chuàng)的非均勻Tensor Parallel并行推理方式，Skywork-MoE可以達(dá)到2200tokens/s的吞吐量。

模型性能和技術(shù)創(chuàng)新:

參數(shù)量:Skywork-MoE的總參數(shù)量為146B，激活參數(shù)量22B，共有16個Expert，每個Expert大小為13B。

性能對比:在相同的激活參數(shù)量下，Skywork-MoE的能力在行業(yè)前列，接近70B的Dense模型，推理成本有近3倍的下降。

訓(xùn)練優(yōu)化算法:Skywork-MoE設(shè)計了兩種訓(xùn)練優(yōu)化算法，包括Gating Logits歸一化操作和自適應(yīng)的Aux Loss，以解決MoE模型訓(xùn)練困難和泛化性能差的問題。

大規(guī)模分布式訓(xùn)練:

Expert Data Parallel:提出了一種新的并行設(shè)計方案，可以在Expert數(shù)量較小時高效地切分模型。

非均勻切分流水并行:提出了非均勻的流水并行切分和重計算Layer分配方式，使得計算/顯存負(fù)載更均衡。

實驗和經(jīng)驗規(guī)則:

Scaling Law實驗:探究了影響Upcycling和From Scratch訓(xùn)練MoE模型好壞的約束。

訓(xùn)練經(jīng)驗規(guī)則:如果訓(xùn)練MoE模型的FLOPs是訓(xùn)練Dense模型的2倍以上，則選擇From Scratch訓(xùn)練MoE更好;否則，選擇Upcycling訓(xùn)練MoE可以減少訓(xùn)練成本。

Skywork-MoE的開源為大模型社區(qū)帶來了一個強大的新工具，有助于推動人工智能領(lǐng)域的發(fā)展，特別是在需要處理大規(guī)模數(shù)據(jù)和計算資源受限的場景中。

項目頁：https://top.aibase.com/tool/skywork-moe

模型下載地址:https://huggingface.co/Skywork/Skywork-MoE-Base

以上就是關(guān)于【昆侖萬維宣布開源2千億稀疏大模型Skywork-MoE 性能強勁成本更低】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！