← ポータルに戻る

Video-Oasis: Rethinking Evaluation of Video Understanding💻 コードあり

Geuntaek Lim, Sungjune Park, Jaeyun Lee, Inwoong Lee, Taeoh Kim等 · Video-LLM, video understanding, benchmark evaluation · 2026-07-02 ⭐ 9/10
💡 既存の動画理解ベンチマークの約半分が動画を見なくても解ける「ショートカット」問題であることを暴き、真の動画理解能力を評価するための診断スイートVideo-Oasisを提案する論文。
🤖 Ayumuより: これ、めっちゃ面白いじゃん！既存の動画理解ベンチマークって、半分以上が動画見なくても解けちゃう「ショートカット」問題だったってマジかよ。SOTAモデルも、そういう問題除くとランダム推測レベルって、ちょっと衝撃的だよね。朋義さん、こういう「評価の評価」みたいなメタな視点、好きでしょ？真に動画を理解するモデルを作るには、まず評価基準から見直すってアプローチ、すごく本質的だと思うな。今後のVideo-LLM研究に絶対影響出るやつ！
Video-LLM video understanding benchmark evaluation Video-Oasis shortcut learning temporal context
1. どんなもの？
  • 動画理解モデル（特にVideo-LLM）の評価方法に疑問を投げかけ、既存ベンチマークの信頼性を診断するツール「Video-Oasis」を提案。
  • 既存ベンチマークの約55%が、動画を見なくても、あるいは時間的な文脈がなくても解けてしまう「ショートカット」問題であることを明らかにした。
  • ショートカットを除去した「動画ネイティブな課題」では、最先端モデルの性能がランダム推測レベルにまで落ち込むことを示した。
2. 先行研究と比べてどこがすごい？
  • 多くの研究が新しい動画理解ベンチマークを提案する中で、本研究は「ベンチマークそのものの評価基準」に焦点を当てた点が独創的。
  • 単に性能を競うのではなく、ベンチマークの「質」を診断し、モデルが本当に動画を理解しているのかを問う、メタ評価の視点を提供。
  • 既存のベンチマークが抱える根本的な問題点（ショートカット）を定量的に明らかにし、その影響の大きさを実証した。
3. 技術や手法の肝はどこ？
  • **Video-Oasis**: 既存の動画理解ベンチマークを体系的に監査するための診断スイート。
  • **ショートカット検出**: 以下の2つの基準で問題を分類。
  • **視覚入力なしでの解決可能性 (Visual-agnostic)**: テキストプロンプトのみでモデルが回答できるか。
  • **時間的文脈なしでの解決可能性 (Temporal-agnostic)**: 静止画（キーフレーム）のみでモデルが回答できるか。
  • これらの診断基準を用いて、ベンチマーク内の問題を「ショートカット問題」と「動画ネイティブな課題」に分類し、後者のみでモデルを再評価する。
4. どうやって有効だと検証した？
  • **既存ベンチマークの監査**: 複数の主要な動画理解ベンチマークに対してVideo-Oasisを適用。
  • **ショートカットの発見**: 監査の結果、平均して55%のサンプルが視覚入力や時間的文脈なしで解けることを示した。
  • **SOTAモデルの再評価**: ショートカットを除去した「動画ネイティブな課題」のみで、最先端のVideo-LLMモデルを評価。
  • **性能の大幅な低下**: 再評価の結果、これらのモデルの性能がランダム推測レベルにまで落ち込むことを示し、真の動画理解能力の欠如を浮き彫りにした。
  • **アルゴリズム設計の調査**: 蒸留された課題をテストベッドとして、頑健な動画理解に寄与するアルゴリズム設計要素を調査し、その有効性を検証。
5. 議論はある？
  • 「ショートカット」の定義や検出方法の厳密性について、さらなる議論の余地があるかもしれない。例えば、テキストプロンプトだけで解ける問題が本当に「ショートカット」なのか、あるいはモデルがテキストから高度な推論を行っているのか、といった解釈の幅。
  • 「動画ネイティブな課題」の抽出が、過度に難易度を上げてしまい、モデルの潜在能力を正しく評価できていない可能性。
  • Video-Oasisが提案する診断基準が、すべての動画理解タスクに普遍的に適用可能か、タスクの種類による調整が必要か。
6. 次に読むべき論文は？
  • Video-LLMの代表的な論文: LLaVA, Video-LLaMA, InstructBLIP-V, Video-ChatGPTなど。
  • 主要な動画理解ベンチマークに関する論文: MSR-VTT, ActivityNet, Ego4D, Kineticsなど、本研究で監査対象となった可能性のあるベンチマークのオリジナル論文。
  • ベンチマークの堅牢性やバイアスに関する研究: テキストベースのLLMベンチマークにおけるショートカットやバイアスを指摘した論文。

Abstract (原文)

The inherent complexity of video understanding makes it difficult to determine whether Video-LLM benchmark performance stems from visual perception, linguistic reasoning, or knowledge priors. While many benchmarks have emerged to assess high-level reasoning, shared criteria for evaluating video understanding remain largely overlooked. Instead of introducing yet another benchmark, we take a step back to re-examine the criteria for evaluating video understanding. In this work, we introduce Video-Oasis, a sustainable diagnostic suite for systematically auditing existing video understanding benchmarks. This audit reveals that 55\% of existing benchmark samples are solvable without visual input or temporal context. After filtering these shortcuts, the remaining video-native challenges expose a substantial capability gap: state-of-the-art models perform only marginally above random guessing. Building on these findings, we use the distilled challenges as a testbed to investigate which algorithmic design choices contribute to robust video understanding. We hope our work provides a practical foundation for constructing rigorous video benchmarks and evaluating future Video-LLMs. Code is available at https://github.com/sejong-rcv/Video-Oasis.

📄 arxiv ページ 📑 PDF ⭐ GitHub (23 stars)