相信很多大家對GPT-4o mini一手測評：懂得不多，但答得極快還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

昨晚，OpenAI 突然上線新模型 GPT-4o mini， 聲稱要全面取代 GPT-3.5Turbo。

在性能方面，GPT-4o mini 在 MMLU 上的得分為82%，在 LMSYS 排行榜的聊天方面分數(shù)優(yōu)于 GPT-4。

在價格方面，GPT-4o mini 比之前的 SOTA 模型便宜一個數(shù)量級，商用價格是每百萬輸入 token15美分，每百萬輸出 token60美分，比 GPT-3.5Turbo 便宜60% 以上。

OpenAI 表示，ChatGPT 的免費版、Plus 版和 Team 用戶將能夠從周四開始訪問 GPT-4o mini（其知識截至2023年10月），以代替 GPT-3.5Turbo，企業(yè)用戶可以從下周開始訪問。

目前，GPT-4o mini 在 WildBench 測試上排名第九，優(yōu)于谷歌的 Gemini-flash 以及 Anthropic 的 Claude3Haiku。

在今天的凌晨的文章中，我們已經(jīng)介紹了 GPT-4o mini 的一些基本情況（參見《GPT-4o Mini 深夜突發(fā):即刻免費上線，API 降價60%》）。在這篇文章中，我們將補充介紹模型的實際使用體驗以及這份工作背后的研究者。

GPT-4o mini 一手評測

在 GPT-4o mini 開放測試的第一時間，我們問了它一個最近比較熱門的話題，9.11和9.9哪個大，很遺憾，GPT-4o mini 依然沒有答對，還一本正經(jīng)地回答0.11>0.9。

接著我們在 Poe（Quora 開發(fā)的應用程序，已經(jīng)集成了 GPT-4o mini）中輸入人物傳記電影《Eno》的設(shè)計封面，讓兩個模型解讀，結(jié)果 mini 翻車了。GPT-4o mini 直接表示「自己認不出照片上的人。」

與之相對的，GPT-4o 的回答就比較準確?！高@張圖片看起來像是一幅拼貼畫，由一張照片的多個碎片組成，照片中是一位留著白胡子、身穿亮粉色襯衫的老人。這幅圖由同一張照片的不同部分創(chuàng)造性地排列而成，產(chǎn)生了馬賽克或拼圖般的效果。照片中的男子表情若有所思，手撫摸著臉?！?/p>

接著我們又測試了另一個問題:在客廳的桌子上放著一個杯子，杯子里有一個戒指。這個杯子被移到了書房的桌子上，然后移到了臥室的床上。在那里，杯子被翻倒了一次，然后又恢復了原樣。之后，杯子被放回了客廳的桌子上。那么，現(xiàn)在戒指在哪里呢?如果我們分開問，答案不一樣，GPT-4o 似乎更聰明點。

但是，如果我們一起發(fā)問，它們的答案又會變得雷同:

GPT-4o mini 回答數(shù)學題的表現(xiàn)如何呢?機器之心用丘成桐少年班2024年選拔試題測試了一下它解決數(shù)學問題的能力。

雖然 GPT-4o mini 對問題的解讀都比較清晰，但在分析過程中出現(xiàn)「胡言亂語」的邏輯錯誤，像極了上數(shù)學課根本聽不懂但硬答的學生。

不過也不必著急，畢竟 GPT-4o 的回答更不理想，它甚至沒有看懂數(shù)字表示的是正方形的邊長。

在文字的總結(jié)能力上，GPT-4o mini 與 GPT-4o 的能力不相上下。都能將重點信息進行抓取，但 GPT-4o 的回答更顯條理。

不過主打「Faster for everyday tasks」的 GPT-4o mini，響應速度確實對得起「Faster」之稱。和它對話，幾乎無需等待，輸出速度也是快得離譜。

日本網(wǎng)友用 GPT-4o mini 搭建了一款 AI 聊天機器人，響應速度依然快得驚人。

還有網(wǎng)友將 GPT-4o 和 GPT-4o mini 輸出速度進行了對比，GPT-4o mini 明顯更快:

從大家體驗效果上來看，GPT-4o mini 主打一個字「快」，但實際使用體驗可能還是差了一些。

作者介紹

隨著 GPT-4o mini 的發(fā)布，很多人表示 OpenAI 又一次給大家?guī)砹艘稽c點震撼。其實，這背后是一群年輕的學者，還有多位華人的身影。

GPT-4o mini 項目負責人是 Mianna Chen。

Mianna Chen 于去年12月加入 OpenAI，此前在谷歌 DeepMind 任產(chǎn)品主管。

她在普林斯頓大學獲得學士學位，2020年獲得賓夕法尼亞大學沃頓商學院 MBA 學位。

該項目的其他領(lǐng)導者還包括 Jacob Menick、Kevin Lu、Shengjia Zhao、Eric Wallace、Hongyu Ren、Haitang Hu、Nick Stathas、Felipe Petroski Such。

Kevin Lu 是 OpenAI 的一名研究員，2021年畢業(yè)于加州大學伯克利分校。曾與強化學習大牛 Pieter Abbeel 等人一起研究強化學習和序列建模。

Shengjia Zhao 于2022年6月加入，現(xiàn)在是 OpenAI 的一名研究科學家，主攻 ChatGPT。他的主要研究方向是大語言模型的訓練和校準。此前，他本科畢業(yè)于清華大學，博士畢業(yè)于斯坦福大學。

Hongyu Ren 在去年7月加入，現(xiàn)在是 OpenAI 的一名研究科學家，他還是 GPT-4o 的核心貢獻者，并致力于 GPT-Next 的研究。Hongyu Ren 本科畢業(yè)于北京大學、博士畢業(yè)于斯坦福大學。此前，他在蘋果、谷歌、英偉達、微軟等工作過。

Haitang Hu 于去年9月加入 OpenAI，曾任職于谷歌。他本科畢業(yè)于同濟大學、碩士畢業(yè)于霍普金斯約翰大學。

Karpathy:模型變小是自然趨勢

這次，OpenAI 還是發(fā)了 GPT-4的衍生模型。所以很多人還是會問:GPT-5啥時候來?

這個問題目前沒有官方信息。但從 OpenAI 等 AI 巨頭紛紛發(fā)布小模型的動作來看，小模型正在成為一個新戰(zhàn)場。

OpenAI 創(chuàng)始成員 Karpathy 對此表示，「LLM 模型大小競爭正在加劇…… 但方向是相反的」!

按照 Karpathy 的說法，以后小模型會變得越來越多，越來越好用。這個領(lǐng)域的競爭會有多激烈?我們拭目以待。

參考鏈接:https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/

以上就是關(guān)于【GPT-4o mini一手測評：懂得不多，但答得極快】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權(quán)請聯(lián)系刪除！