相信很多大家對Gemini視頻推理遙遙領先GPT-4o，Jeff Dean連續(xù)轉發(fā)三次，首個視頻多模態(tài)基準Video-MME來了還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

OpenAI和谷歌接連兩場發(fā)布會，把AI視頻推理卷到新高度。

但業(yè)界還缺少可以全面評估大模型視頻推理能力的基準。

終于，多模態(tài)大模型視頻分析綜合評估基準Video-MME，全面評估多模態(tài)大模型的綜合視頻理解能力，填補了這一領域的空白。

Gemini1.5Pro在這份榜單中遙遙領先，顯示出在視頻理解領域的“霸主”地位。Video-MME一經(jīng)推出，被谷歌首席科學家Jeff Dean連續(xù)轉發(fā)了三次。

GPT-4o、谷歌Gemini1.5Pro標榜的視頻推理能力終于在全新的、更復雜的多模態(tài)基準Video-MME上首次得到了驗證。

同時，各大公司以及研究機構，例如NVIDIA、ByteDance等模型也加入了混戰(zhàn)。

Video-MME由中科大、廈大、港中文等高校聯(lián)合推出，代碼和數(shù)據(jù)集均已開源。

全人工標注高質(zhì)量數(shù)據(jù)集

該基準采取全人工標注，具有區(qū)別于現(xiàn)有數(shù)據(jù)集的顯著特點。在以下的例子中，準確回答該問題需要同時從視覺、字幕以及音頻中同時獲取信息，有效信息直接橫跨30分鐘的間隔:

Video-MME具有以下顯著特點:

時間維度的廣泛性:視頻時長從11秒到1小時不等，涵蓋短（<2分鐘）、中(4-15分鐘)、長(30-60分鐘)三種不同的視頻時長，全面評估模型在不同時間跨度下的上下文多模態(tài)理解能力;

數(shù)據(jù)模態(tài)的豐富性:除了視頻幀，Video-MME還整合了字幕和音頻模態(tài)輸入，全面評估大模型的多模態(tài)處理能力;

視頻類型的多樣性:覆蓋了知識、影視、體育、藝術、生活記錄和多語言6個主要領域，涉及30個細粒度子領域;

注釋質(zhì)量的高標準:900個視頻，共254小時的內(nèi)容由具備大模型背景的專業(yè)人員手動標注與驗證，產(chǎn)生了2，700個問答對。問題類型涵蓋感知、認知和總結概括等12種類型;

可靠的有效時長（Certificate Length準確回答問題所需的最短時長）:對于短視頻、中視頻和長視頻，Video-MME數(shù)據(jù)集的有效時長中位數(shù)分別為26.0秒、164.7秒和890.7秒，要求模型消化更長的視頻內(nèi)容才能回答問題;

全面的實驗評估:文章選取了6種代表性的開源視頻語言模型以及閉源模型Gemini1.5Pro和GPT-4V/o進行全面的實驗分析。同時文章還選取了基于圖片的多模態(tài)大模型進行評測（泛化到多圖輸入），證明其同時適用于圖片&視頻多模態(tài)大模型。

文章選取了多種代表性的開源視頻多模態(tài)大模型，包括ST-LLM、VideoChat2-Mistral、Chat-UniVi-V1.5、LLaVA-NeXT-Video和VILA-1.5，以及閉源模型Gemini和GPT-4V/o 。同時，基于圖片的多模態(tài)大模型包括Qwen-VL-Chat、Qwen-VL-Max和InternVL-Chat-V1.5。

在商業(yè)模型中，Gemini1.5Pro在視頻理解方面表現(xiàn)突出，在加以字幕輔助的情況下以81.3%的準確率領先，并在與GPT-4V和GPT-o的對比中分別超出18%和4.1%。

盡管隨著視頻時長增加，其表現(xiàn)略有下降，但在長視頻上的表現(xiàn)（加字幕）優(yōu)于所有開源模型在短視頻上的表現(xiàn)。

同時，Gemini1.5Pro還支持音頻模態(tài)的輸入，模態(tài)支持的更廣。而在開源模型中，來自NVIDIA的VILA-1.5以59.4%的準確率表現(xiàn)最佳。然而，相比Gemini1.5Pro，VILA-1.5在計數(shù)問題、動作識別和時間感知方面仍然存在顯著差距。

同時，隨著視頻時長的增加，所有模型的表現(xiàn)均呈現(xiàn)明顯的下降趨勢，這也說明面對更長的上下文記憶以及更為復雜的任務時模型還有很大的提升空間。此外，實驗還揭示了字幕和音頻信息能顯著增強視頻理解能力，尤其是對于長視頻的理解。

在三十種不同類型的視頻上，Gemini1.5Pro展現(xiàn)出不同的性能。例如，有的任務對字幕和語音的依賴程度更高，如Basketball的長視頻，加上字幕和語音能夠顯著提升性能。詳細的實驗結果請參照論文原文。

綜合實驗結果可以看出，當前的多模態(tài)大模型在視頻理解，尤其是長視頻理解方向仍然有很長進步空間，一方面是要提升模型的多模態(tài)長上下文理解能力，Gemini1.5Pro最高支持百萬長度的上下文窗口，這是其表現(xiàn)優(yōu)異的依仗，另一方面也亟需構建相應的高質(zhì)量長視頻理解數(shù)據(jù)集，這方面當下仍處于空白。

論文鏈接:https://arxiv.org/pdf/2405.21075

項目主頁:https://video-mme.github.io

項目倉庫:https://github.com/BradyFU/Video-MME

—完—

以上就是關于【Gemini視頻推理遙遙領先GPT-4o，Jeff Dean連續(xù)轉發(fā)三次，首個視頻多模態(tài)基準Video-MME來了】的相關內(nèi)容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關。財經(jīng)信息僅供讀者參考，并不構成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權請聯(lián)系刪除！