相信很多大家對(duì)長上下文能力只是吹牛？最強(qiáng)GPT-4o正確率僅55.8%，開源模型不如瞎蒙還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

【新智元導(dǎo)讀】當(dāng)今的LLM已經(jīng)號(hào)稱能夠支持百萬級(jí)別的上下文長度，這對(duì)于模型的能力來說，意義重大。但近日的兩項(xiàng)獨(dú)立研究表明，它們可能只是在吹牛，LLM實(shí)際上并不能理解這么長的內(nèi)容。

大數(shù)字一向吸引眼球。

千億參數(shù)、萬卡集群，——還有各大廠商一直在卷的超長上下文。

從一開始的幾K幾十K，發(fā)展到了如今的百萬token級(jí)別。

Gemini的最新版本可以接收200萬個(gè)token作為上下文。

這大概相當(dāng)于140萬個(gè)單詞、2小時(shí)視頻或者22小時(shí)的音頻。

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

但不知諸位平時(shí)用得著這么長的上下文嗎?畢竟100K已經(jīng)相當(dāng)于一部比較長的小說了。

更重要的是，LLM真的能在這個(gè)長度上進(jìn)行推理嗎?

近日，有兩篇獨(dú)立研究分別表明:長上下文水分很大!LLM實(shí)際上并不能「理解」內(nèi)容。

首先是來自UMass、AI2和普林斯頓的研究人員，推出了一項(xiàng)針對(duì)性的測試。

論文地址:https://arxiv.org/pdf/2406.16264

代碼和示例數(shù)據(jù):https://github.com/marzenakrp/nocha

當(dāng)前傳統(tǒng)的長上下文測試手段一般被稱為「大海撈針」（needle-in-a-haystack）:

將一個(gè)事實(shí)（針）嵌入到大量的上下文信息(干草堆)中，然后測試模型能否找到這根「針」，并回答與之相關(guān)的問題。

這種方式基本上衡量的是LLM的檢索能力，有些流于表面。

于是研究人員構(gòu)建了NoCha（小說挑戰(zhàn)）數(shù)據(jù)集，讓模型根據(jù)所提供的上下文(書籍)驗(yàn)證聲明的真假。

如下圖所示，由小說的粉絲根據(jù)書籍內(nèi)容，提出關(guān)于同一事件或角色敘述的一對(duì)相反的聲明。

LLM看完小說后需要分別判斷兩個(gè)問題的真假（確保是根據(jù)理解做題，打擊在考場上瞎蒙的）。

對(duì)于一對(duì)問題的回答有四種情況，只有兩個(gè)問題全對(duì)時(shí)才能得一分。

研究人員測試了目前最強(qiáng)的一些長上下文模型（包括閉源和開源），并將成績單貼在墻上，公開處刑:

首當(dāng)其沖的是GPT-4o，雖然全班第一，但是55.75分。

而開源陣營的成績直接慘不忍睹，表現(xiàn)最好的Command R（simple）只有22.47%的準(zhǔn)確率。

——要知道，這考試瞎蒙也能得25分（四選一）。

當(dāng)然，這也說明人家不是瞎蒙的，確實(shí)動(dòng)腦子了。

另一篇研究來自UCSB，考察的是視覺大模型（VLM）的長上下文能力。

論文地址:https://arxiv.org/pdf/2406.16851

主要的實(shí)驗(yàn)思路如下圖所示，研究人員通過不斷增加上下文長度（干擾圖片的數(shù)量），將現(xiàn)有的VQA基準(zhǔn)和簡單圖像識(shí)別集 (MNIST) 擴(kuò)展為測試長上下文「提取推理」的示例。

結(jié)果在簡單VQA任務(wù)上，VLM的性能呈現(xiàn)出驚人的指數(shù)衰減。

——LLM:原形畢露了家人們。

而與實(shí)際研究相對(duì)的，在今年早些時(shí)候，谷歌展示了幾個(gè)預(yù)先錄制的演示。

讓Gemini1.5Pro搜索阿波羅11號(hào)登月的電視直播記錄（約402頁），查找包含笑話的引語，以及在電視直播中找到與鉛筆素描相似的場景。

主持這次簡報(bào)會(huì)的谷歌DeepMind研究副總裁Oriol Vinyals表示，「Gemini1.5Pro可以在每一頁、每一個(gè)單詞上執(zhí)行此類推理任務(wù)?！?/p>

一千零一夜

第一篇工作被作者命名為「One Thousand and One Pairs」（下面這盞燈應(yīng)該也是這么來的）。

一千零一在這里有兩個(gè)含義，首先用于測試的材料基本都是小說，對(duì)于大模型來說，算是故事會(huì)了;

其次，作者真的花錢請(qǐng)人注釋了剛剛好1001個(gè)問題對(duì)。

為了保證模型無法依靠自己的知識(shí)來作弊，這1001個(gè)問題大部分來自于最近出版的虛構(gòu)敘事類讀物。

NoCha數(shù)據(jù)集包括63本新書（33本于2023年出版，30本于2024年出版）和四本經(jīng)典小說，書籍的平均長度為127k個(gè)token(約98.5k個(gè)單詞)。

注釋者首先寫出關(guān)于書中事件或人物的真實(shí)陳述，然后針對(duì)同一對(duì)象創(chuàng)建相應(yīng)的虛假陳述，同時(shí)還需要給出一個(gè)簡短的解釋，說明為什么這些說法是正確或錯(cuò)誤的。

為了確保聲明的質(zhì)量，作者聘請(qǐng)了讀過相同書籍的注釋者，來驗(yàn)證五本書中的128個(gè)聲明，并最終對(duì)其中的124個(gè)達(dá)成了一致。

下面給出參加本次考試的考生信息（開源和閉源兩大陣營）:

以及考試成績:

如果按照小說類型劃分，所有六個(gè)閉源模型在歷史小說上的準(zhǔn)確率為56.4%，當(dāng)代小說為46.8%，推理小說為38.8%。

對(duì)于每個(gè)模型來說，都是歷史小說的準(zhǔn)確度最高，當(dāng)代小說次之，推理小說的準(zhǔn)確度最低。

從這個(gè)結(jié)果來看，貌似LLM的推理更多依賴于自身參數(shù)中的知識(shí)。

接下來做個(gè)對(duì)比實(shí)驗(yàn):如果某個(gè)主張可以通過書中的一小部分內(nèi)容來單獨(dú)驗(yàn)證，那么提供本書的其余部分是否會(huì)影響其準(zhǔn)確性?

上圖顯示了在四個(gè)短篇故事集上的模型性能，每兩行為一組，上面一行表示給出整本書（約129k token）時(shí)的準(zhǔn)確率，下面表示只給出與聲明相關(guān)的部分(約21k token)。

Gemini對(duì)于添加上下文的表現(xiàn)相對(duì)穩(wěn)健，而Claude-3-Opus的準(zhǔn)確度直接下降了44.5%，Claude-3.5-Sonnet、GPT-4-Turbo和GPT-4o的表現(xiàn)也大幅下降。

作者表示，與句子層面的檢索任務(wù)相比，模型在驗(yàn)證需要考慮整本書（或大部分）內(nèi)容的問題時(shí)，顯得力不從心。

另外，書中的一些隱含信息對(duì)于人類讀者來說是明確的，但LLM卻無法理解。

大海撈針

另一項(xiàng)研究來自加州大學(xué)圣巴巴拉分校（UCSB），作者引入了 LoCoVQA，一種帶有干擾項(xiàng)的長上下文視覺問答 (VQA) 基準(zhǔn)生成器。

LoCoVQA可以提供與問題相關(guān)的圖像序列，以及一組可配置的視覺干擾項(xiàng)，從而準(zhǔn)確評(píng)估VLM如何在雜亂的上下文中僅提取與查詢相關(guān)的信息。

從原理上講，這也是一項(xiàng)「大海撈針」的任務(wù)。

另外，LoCoVQA的方法能夠以任意圖像理解數(shù)據(jù)集為基礎(chǔ)，創(chuàng)建長上下文圖像理解測試。

通過LoCoVQA合成的樣本包含一個(gè)或多個(gè)與問答對(duì)（

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！