相信很多大家對(duì)最強(qiáng)國(guó)產(chǎn)多模態(tài)剛剛易主！騰訊混元把GPT-4/Claude-3.5/Gemini-1.5都超了還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

國(guó)產(chǎn)大模型，多模態(tài)能力都開(kāi)始超越GPT-4-Turbo了??

權(quán)威榜單，中文多模態(tài)大模型測(cè)評(píng)基準(zhǔn)SuperCLUE-V，新鮮出爐:

特別是騰訊的hunyuan-vision、上海AI Lab的InternVL2-40B，分別成為國(guó)內(nèi)閉源和開(kāi)源界兩大領(lǐng)跑者，甚至超過(guò)Claude-3.5-Sonnet和谷歌王牌Gemini-1.5-Pro。

雖然這次都還是被GPT-4o壓過(guò)，差距也確確實(shí)實(shí)縮小了很多。

（這個(gè)榜單旨在為中文領(lǐng)域提供一個(gè)多模態(tài)大模型多維度能力評(píng)估參考，GPT-4o等國(guó)外模型僅作對(duì)比參考，不參與排名哦）

hunyuan-vision也就是騰訊混元大模型的多模態(tài)版本了，除了開(kāi)發(fā)者調(diào)用API之外，其實(shí)在騰訊元寶APP里免費(fèi)就能體驗(yàn)到。

一直以來(lái)，元寶主打“實(shí)用AI搭子”，似乎著重強(qiáng)調(diào)的是實(shí)用易用性;沒(méi)想到背著咱們偷偷拿模型去測(cè)評(píng)，還捧回來(lái)個(gè)國(guó)內(nèi)第一，emmm……有點(diǎn)意思。

所以國(guó)產(chǎn)多模態(tài)大模型進(jìn)化成什么樣了，光看分?jǐn)?shù)還是不夠直觀，下面就拉出來(lái)溜溜。

多模態(tài)能力第一?這就上手玩

多模態(tài)測(cè)試，說(shuō)實(shí)話(huà)有點(diǎn)不嘻嘻:還沒(méi)有出現(xiàn)“弱智吧”一樣公認(rèn)效果拔群的“民間benchmark”。

但又嘻嘻:根本不耽誤我們碳基生物用千奇百怪的圖片來(lái)為難大模型。

那就開(kāi)始吧!

Round1.1:梗圖表情包理解

時(shí)間過(guò)得好快!昨兒已經(jīng)立秋了。

夏天夏天悄悄過(guò)去，只留下可以用這張meme圖概括的心情:

問(wèn)元寶，這張圖什么意思?得到的答案是:

隨手測(cè)試的程序員祖?zhèn)黝}，元寶也輕松應(yīng)對(duì)。

Round1.2:照片內(nèi)容識(shí)別

上來(lái)就是一道不走尋常路的“超前”題——編輯部好幾個(gè)人對(duì)著這張圖皺眉。

太黑暗了，不知是何物。

答案揭曉，這是最近一個(gè)分享貼中，“南京本地人應(yīng)該也受不了”的黑金榴蓮紫薯披薩。

元寶不僅能正確get到圖中“太超前”的含義，同時(shí)還根據(jù)圖片猜中了食物拿紫薯當(dāng)原料。

至于沒(méi)有猜出榴蓮成分，也不能怪它，人類(lèi)的黑暗料理不管是對(duì)AI還是對(duì)人類(lèi)都真的太超前……

再來(lái)一道經(jīng)典題目，數(shù)吉娃娃。

可以看到，混元元寶先是分析了題目中“吉娃娃”的外貌特征，然后分別告訴了九張圖中哪些是吉娃娃的照片。

不僅答得全對(duì)，還看出了圖中另一個(gè)物種是藍(lán)莓松餅。

Round1.3:視覺(jué)錯(cuò)覺(jué)挑戰(zhàn)

多模態(tài)大模型的視覺(jué)幻覺(jué)問(wèn)題，是這兩年的熱門(mén)研究方向。

這些測(cè)試題真的很有迷惑性，別說(shuō)大模型了，連人類(lèi)也常常踩坑沒(méi)商量。

但騰訊元寶，就這么水靈靈地答對(duì)了!

當(dāng)初難道一種大模型的“哪一棵樹(shù)更亮”，也謹(jǐn)慎地回答:

不過(guò)更難的錯(cuò)覺(jué)挑戰(zhàn)它就不行了。讀圖片中隱藏信息的傻傻看不出，怎么問(wèn)都說(shuō)“沒(méi)有啊”:

不過(guò)講道理，這些題GPT-4V也答不上來(lái)，大約目前多模態(tài)大模型的階段性能力還沒(méi)邁過(guò)這道坎。

玩耍一番過(guò)后，接下來(lái)要?jiǎng)诱娓竦?

測(cè)試元寶背后hunyuan-vision在實(shí)用場(chǎng)景下，表現(xiàn)如何。

Round2.1:財(cái)報(bào)表現(xiàn)摘要讀取

每個(gè)季度、半年、年終的財(cái)報(bào)，打工人看了真的是腦闊痛。

這就把騰訊一季度財(cái)報(bào)表現(xiàn)摘要截圖扔給元寶，讓它幫忙淺做分析:

元寶讀取了圖標(biāo)中的數(shù)據(jù)，還在最后還小小總結(jié)了一把:

Round2.2:讀取（學(xué)術(shù)）圖表

先來(lái)一道沒(méi)那么學(xué)術(shù)的圖表識(shí)別題。

問(wèn)，一張圖中的數(shù)字序列，缺少了哪一個(gè)?

元寶很好地讀圖，并正確填補(bǔ)了缺的那個(gè)數(shù)字:29。

然后隨機(jī)從一篇關(guān)于大模型數(shù)據(jù)的論文中，截圖喂過(guò)去。

它也能理解并給出詳細(xì)解釋?zhuān)詈筮€來(lái)幾句總結(jié)。

Round2.3:行測(cè)找規(guī)律題

這一回合的最后上大招——萬(wàn)千人頭疼不已的行測(cè)找規(guī)律題。

題是下面這一道，prompt輸入:請(qǐng)從所給的四個(gè)選項(xiàng)中，選擇最合適的一個(gè)填入問(wèn)號(hào)處，使之呈現(xiàn)一定的規(guī)律性。

先提前透露正確答案，選C。

在公布自己的最終答案之前，元寶嘰里呱啦進(jìn)行了很長(zhǎng)的過(guò)程分析（講真，看得人很緊張）。

最后堅(jiān)定地選了C選項(xiàng)，答對(duì)。

一道GPT-4V沒(méi)做對(duì)的附加題

先做個(gè)前情提要，此前研究人員們發(fā)現(xiàn)，GPT-4V更擅長(zhǎng)解釋西方文化背景的圖像or帶有英文文字的圖像。

比如給AI看《白雪公主》，知道是有7個(gè)小矮人。換成《葫蘆娃》，7個(gè)就數(shù)成了10個(gè)，葫蘆山七彩峰也說(shuō)成了冰山。

那么純國(guó)產(chǎn)大模型，總該表現(xiàn)好點(diǎn)了吧?直接原題譯中，丟過(guò)去。

好家伙，不僅數(shù)對(duì)了數(shù)量，還在追問(wèn)中成功辨別這是《葫蘆兄弟》的截圖。

Nice!

騰訊元寶，真·AI實(shí)用搭子

看過(guò)這么多實(shí)測(cè)案例，是時(shí)候整體介紹一下背后的模型和整個(gè)APP了。

騰訊混元大模型，可以說(shuō)是一位老朋友了。

去年9月首次對(duì)外亮相，之后一直保持著快速迭代。目前已擴(kuò)展至萬(wàn)億參數(shù)規(guī)模，由7萬(wàn)億tokens的預(yù)訓(xùn)練語(yǔ)料訓(xùn)練而來(lái)，能力已覆蓋了文本、多模態(tài)理解及生成等。

在國(guó)內(nèi)大模型中，騰訊混元率先完成MoE（Mix of Experts，專(zhuān)家混合）架構(gòu)升級(jí)，也就是從單個(gè)稠密模型升級(jí)到多個(gè)專(zhuān)家組成的稀疏模型。

今年7月，還解鎖了一個(gè)單日調(diào)用tokens數(shù)達(dá)千億級(jí)的成就。

騰訊元寶，今年5月底剛剛上線(xiàn)，可能對(duì)很多人來(lái)說(shuō)還是新朋友。

值得一提的是，在前一陣“9.11和9.9哪個(gè)大”的風(fēng)波中，騰訊元寶表現(xiàn)不錯(cuò)，無(wú)需額外提示自己就能答對(duì)。

騰訊元寶主打一個(gè)“實(shí)用AI搭子”，其中一個(gè)特色是APP、小程序和網(wǎng)頁(yè)都能訪(fǎng)問(wèn)，聊天記錄多端同步。

比如在微信聊天中接收到的工作文檔，不用轉(zhuǎn)存到手機(jī)目錄，就可以直接到小程序選擇對(duì)話(huà)直接發(fā)給AI了，接下來(lái)是總結(jié)也好、生成也好都非常方便。

再拿多模態(tài)理解能力來(lái)說(shuō)，無(wú)論是文檔截圖、人像風(fēng)景、收銀小票，還是任意一張隨手拍的照片，元寶都能基于圖中內(nèi)容給出自己的理解和分析。

背后的一個(gè)思考是不光要識(shí)別、理解，還要生成滿(mǎn)足用戶(hù)需求的內(nèi)容。

從前面的測(cè)試中也可以看出，丟一個(gè)表情包給它，回答也會(huì)簡(jiǎn)短，換成學(xué)術(shù)圖表，回答就會(huì)盡量詳盡、并且主動(dòng)附加總結(jié)段落。

據(jù)騰訊介紹，混元大模型系列中的多模態(tài)理解模型，在視覺(jué)編碼、語(yǔ)言模型、訓(xùn)練數(shù)據(jù)三方面做了深度的優(yōu)化，能處理最高達(dá)7k分辨率最大16:1長(zhǎng)寬比圖片，也是國(guó)內(nèi)首個(gè)基于MoE的多模態(tài)大模型。

把Transformer開(kāi)山之作，經(jīng)典論文《Attention is all you need》拼成一個(gè)長(zhǎng)圖，對(duì)騰訊元寶來(lái)說(shuō)也完全不是難事，從引言到結(jié)論全文覆蓋。

而且騰訊元寶團(tuán)隊(duì)這次特別透露，接下來(lái)會(huì)把更多精力放在融合模型多模態(tài)能力上。

反正騰訊嘛大家都熟悉，是國(guó)內(nèi)大廠里最重產(chǎn)品，重視打磨用戶(hù)體驗(yàn)的。

比如最近騰訊元寶開(kāi)始往“深度”發(fā)展，先更新了“深度搜索”，又剛剛上線(xiàn)“深度長(zhǎng)文閱讀”。

這些功能都是隱藏了技術(shù)細(xì)節(jié)、盡量減少對(duì)提示工程的需要，很多功能都是自動(dòng)識(shí)別，一鍵觸發(fā)，不需要什么學(xué)習(xí)成本。

深度閱讀功能就初步整合了多模態(tài)理解能力，上傳一個(gè)論文PDF進(jìn)去，生成的“精度”頁(yè)面中不僅有文字總結(jié)，還能把相應(yīng)的圖表從文檔里拽出來(lái)。

在很多情況下，都不用來(lái)回翻原文對(duì)照了。

而且這一次，中文多模態(tài)大模型測(cè)評(píng)基準(zhǔn)SuperCLUE-V榜單成績(jī)，也說(shuō)明騰訊不只搞好了產(chǎn)品體驗(yàn)，也非?？粗斜澈竽Ｐ突A(chǔ)能力。

所以說(shuō)，在多模態(tài)“圖生文”場(chǎng)景下，騰訊又能整出什么實(shí)用好活，就非常值得期待了。

以上就是關(guān)于【最強(qiáng)國(guó)產(chǎn)多模態(tài)剛剛易主！騰訊混元把GPT-4/Claude-3.5/Gemini-1.5都超了】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！

　　免責(zé)聲明：本文由用戶(hù)上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！