相信很多大家對(duì)Intel三條線優(yōu)化阿里云通義千問(wèn)2模型：720億參數(shù)輕松拿捏還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

6月7日消息，Intel官方宣布，旗下數(shù)據(jù)中心、客戶端、邊緣AI解決方案均已經(jīng)為阿里云通義千問(wèn)2（Qwen2）的全球發(fā)布提供支持，已取得ModelScope、阿里云PAI、OpenVINO等諸多創(chuàng)新成果。

為了最大限度地提升諸通義千問(wèn)2等大模型的效率，Intel進(jìn)行了全面的軟件優(yōu)化，包括高性能融合算子、平衡精度和速度的先進(jìn)量化技術(shù)等。

Intel還采用KV Caching、PagedAttention機(jī)制和張量并行，提高推理效率。

Intel的硬件也可利用軟件框架和工具包進(jìn)行加速，并獲得出色的大模型推理性能，包括PyTorch以及Intel PyTorch擴(kuò)展包、OpenVINO工具包、DeepSpeed、Hugging Face庫(kù)、vLLM。

首先看Intel Gaudi AI加速器，專(zhuān)為生成式AI、大模型的高性能加速而設(shè)計(jì)，最新版的Gaudi Optimum可以輕松部署新號(hào)的大模型。

Intel使用Gaudi 2，對(duì)70億參數(shù)、720億參數(shù)的通義千問(wèn)2模型的推理和微調(diào)吞吐量進(jìn)行了基準(zhǔn)測(cè)試，以下為詳細(xì)性能指標(biāo)和測(cè)試結(jié)果：

70億參數(shù)通義千問(wèn)2在單顆Gaudi 2加速器上的推理

720億參數(shù)通義千問(wèn)2在八顆Gaudi 2加速器上的推理

通義千問(wèn)2 FP8在Gaudi 2加速器上的推理

通義千問(wèn)2在Gaudi 2加速器上的微調(diào)

再看Intel至強(qiáng)處理器，作為通用平臺(tái)具有廣泛的可用性，適用于各個(gè)規(guī)模的數(shù)據(jù)中心，對(duì)于希望快速部署AI解決方案、沒(méi)有專(zhuān)項(xiàng)基礎(chǔ)設(shè)施企業(yè)非常理想。

至強(qiáng)處理器的每個(gè)核心都內(nèi)置了Intel AMX高級(jí)矩陣擴(kuò)展，可以處理多樣化的AI工作負(fù)載，并加速AI推理。

以上是在五代可擴(kuò)展至強(qiáng)上運(yùn)行阿里云ecs.ebmg8i.48xlarge實(shí)例，通義千問(wèn)2的下一個(gè)推理token延遲情況。

最后是消費(fèi)級(jí)的AI PC，可以在本地部署大模型，既然可以使用處理器內(nèi)置GPU核顯、NPU AI引擎，也可以搭配獨(dú)立的銳炫顯卡。

以下展示了AI PC運(yùn)行15億參數(shù)的通義千問(wèn)2：

酷睿Ultra 7 165H上的通義千問(wèn)2推理

酷睿 Ultra 7 165H上的通義千問(wèn)2下一個(gè)token延遲

銳炫A770 16GB顯卡上的通義千問(wèn)2下一個(gè)token延遲

以上就是關(guān)于【Intel三條線優(yōu)化阿里云通義千問(wèn)2模型：720億參數(shù)輕松拿捏】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！