相信很多大家對從零復(fù)現(xiàn)Llama3代碼庫爆火 Karpathy大神稱贊作者是個有品的人還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

站長之家（ChinaZ.com）5月21日 消息:最近，一個教你從頭開始實(shí)現(xiàn)Llama3的代碼庫在網(wǎng)上爆火，吸引了無數(shù)開發(fā)者的關(guān)注。知名AI專家Andrej Karpathy一鍵三連（點(diǎn)贊、轉(zhuǎn)發(fā)、評論），這個項(xiàng)目在社交媒體X上的轉(zhuǎn)贊收藏量超過6.8k，GitHub上更是收獲了超過2k的星標(biāo)。

這個代碼庫的作者是Nishant Aklecha（以下簡稱“納哥”），他詳細(xì)解釋了Llama3模型的實(shí)現(xiàn)過程，包括注意力機(jī)制中多個頭的矩陣乘法、位置編碼及所有中間層的詳細(xì)展開和解釋。換句話說，他解釋了每行代碼的功能。

Karpathy稱贊納哥是個“有品的人”，并指出這樣的詳細(xì)展開比起模塊相互嵌套和調(diào)用時更容易理解每一步具體在做什么。

在運(yùn)行納哥提供的文件前，需要預(yù)先下載Meta官方提供的Llama3模型權(quán)重。納哥建議使用Karpathy的簡潔版BPE代碼進(jìn)行分詞。字節(jié)級（byte-level）BPE算法在UTF-8編碼的字符串上運(yùn)行，廣泛應(yīng)用于大模型分詞。Karpathy提供的代碼庫包含兩個分詞器，都能在給定文本上訓(xùn)練分詞器的詞匯表和合并規(guī)則、將文本編碼為token、將token解碼為文本。

讀取模型文件的方式通常取決于模型類的編寫方式以及類中變量的命名。但由于納哥是從頭開始實(shí)現(xiàn)Llama3，所以將逐個張量地讀取文件內(nèi)容，通過此配置推斷出模型的結(jié)構(gòu)和參數(shù)信息。

納哥詳細(xì)展示了如何將token轉(zhuǎn)換為高維的嵌入表示，并進(jìn)行RMS歸一化。然后，他構(gòu)建了Transformer的第一層，進(jìn)行歸一化處理和注意力頭的加載。接著，納哥詳細(xì)解釋了query、key和value向量的生成和操作，包括位置編碼的使用和注意力得分矩陣的生成與掩碼處理。最后，他展示了如何將這些向量進(jìn)行矩陣乘法，得到最終的注意力值。

接下來，納哥對每個注意力頭執(zhí)行相同的數(shù)學(xué)運(yùn)算，并將所有注意力得分合并成一個大的qkv_attention矩陣。然后通過矩陣乘法獲得注意力機(jī)制后的嵌入值，并將其添加到原始的token嵌入中，進(jìn)行歸一化處理，并通過一個前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行處理。

納哥使用最終的嵌入預(yù)測下一個token值，并希望預(yù)測結(jié)果是42，這個數(shù)值對應(yīng)《銀河系漫游指南》中“生命、宇宙及一切的終極問題的答案”。模型預(yù)測的token編號為2983，對應(yīng)的正是42。

Nishant Aklecha是Glaive AI的研究員，負(fù)責(zé)構(gòu)建和改進(jìn)定制語言模型平臺，曾任職于摩根士丹利，負(fù)責(zé)訓(xùn)練和微調(diào)大語言模型。他還和朋友共同創(chuàng)立了一個研究實(shí)驗(yàn)室A10，其目標(biāo)是讓研究變得更加觸手可及。

除了發(fā)布這個代碼庫，Nishant還上傳了一個YouTube視頻詳細(xì)解釋代碼庫內(nèi)容，并撰寫了一篇博客詳解潛在一致性模型（LCM）。

感興趣的開發(fā)者可以訪問GitHub鏈接了解更多信息:https://top.aibase.com/tool/llama3-from-scratch

以上就是關(guān)于【從零復(fù)現(xiàn)Llama3代碼庫爆火 Karpathy大神稱贊作者是個有品的人】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！