相信很多大家對(duì)昆侖萬維宣布開源 2 千億稀疏大模型 Skywork-MoE還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

6月3日 消息:2024年6月3日，昆侖萬維宣布開源了一個(gè)性能強(qiáng)勁的2千億稀疏大模型，名為 Skywork-MoE。這個(gè)模型是在之前開源的 Skywork-13B 模型的基礎(chǔ)上擴(kuò)展而來的，是首個(gè)完整應(yīng)用并落地 MoE Upcycling 技術(shù)的開源千億級(jí) MoE 大模型。同時(shí)，這也是全球首個(gè)支持在單臺(tái)4090服務(wù)器上進(jìn)行推理的開源千億級(jí) MoE 大模型。

Skywork-MoE 的模型權(quán)重、技術(shù)報(bào)告完全開源，可以免費(fèi)商用，無需申請(qǐng)。模型的總參數(shù)量為146B，激活參數(shù)量為22B，共有16個(gè) Expert，每次激活其中的2個(gè) Expert。與其他主流模型相比，在相同的激活參數(shù)量下，Skywork-MoE 的性能接近70B 的 Dense 模型，推理成本下降了近3倍。

為了解決 MoE 模型訓(xùn)練困難、泛化性能差等問題，Skywork-MoE 采用了兩種訓(xùn)練優(yōu)化算法:Gating Logits 歸一化操作和自適應(yīng)的 Aux Loss。此外，為了高效進(jìn)行大規(guī)模分布式訓(xùn)練，Skywork-MoE 提出了兩個(gè)并行優(yōu)化設(shè)計(jì):Expert Data Parallel 和非均勻切分流水并行。

在推理方面，Skywork-MoE 是目前能夠在8臺(tái)4090服務(wù)器上進(jìn)行推理的最大開源 MoE 模型。通過首創(chuàng)的非均勻 Tensor Parallel 并行推理方式，在 FP8量化下，Skywork-MoE 可以實(shí)現(xiàn)2200tokens/s 的吞吐。

?模型權(quán)重下載:

?https://huggingface.co/Skywork/Skywork-MoE-base

?https://huggingface.co/Skywork/Skywork-MoE-Base-FP8

?模型開源倉庫:https://github.com/SkyworkAI/Skywork-MoE

?模型技術(shù)報(bào)告:https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf

?模型推理代碼:（支持8x4090服務(wù)器上8bit 量化加載推理） https://github.com/SkyworkAI/vllm

以上就是關(guān)于【昆侖萬維宣布開源 2 千億稀疏大模型 Skywork-MoE】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！