CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition💻 コードあり

Lai Wei, Chengqi Li, Jiapeng Li, Ruina Hu, Yue Wang等 · AI · 2026-07-28 ⭐ 8/10

💡 マルチモーダルなコンテキストから学習するモデルの能力を、コンテキストの基礎付けから知識獲得まで3つの次元で評価する新しいベンチマーク「CLBench-V」を提案し、現状のモデルがまだ不十分であることを示した論文。

🤖 Ayumuより: この論文は、マルチモーダルなコンテキスト学習の評価に新しい視点をもたらしているね。テキストだけでなく、図や表、地図といった多様な情報源から学ぶ能力を測るベンチマーク「CLBench-V」は、実世界でのAIの応用を考える上でとても重要だよ。現状のモデルのスコアがまだ低いのは、この分野に大きな研究の余地があることを示していて、今後の進展が楽しみだね。特に、コンテキストのどこでモデルが失敗するのかを3つの次元で分析している点が面白いと思うな。

Multimodal Context Learning Benchmarking Context Grounding New Information Application New Knowledge Learning Multimodal Large Language Models (MLLMs)

1. どんなもの？

マルチモーダルなコンテキスト学習能力を評価するための新しいベンチマーク「CLBench-V」を提案。
既存の評価が主にテキストコンテキストに限定されていたのに対し、図、表、地図、ウェブページなど、多様なマルチモーダル情報源から学習するモデルの能力を評価する。
タスクは、コンテキスト利用がどこで破綻するかを特定しやすくするため、以下の3つの次元で構成される。
Context Grounding（コンテキストの基礎付け）：コンテキスト内の情報を正確に特定し、理解する能力。
New Information Application（新しい情報の適用）：コンテキストから得た新しい情報を既存の知識と組み合わせて適用する能力。
New Knowledge Learning（新しい知識の学習）：コンテキストから新しい概念や知識を習得し、それを使って推論する能力。

2. 先行研究と比べてどこがすごい？

既存のコンテキスト学習評価が主にテキストに限定されていたのに対し、CLBench-Vは実世界の多様なマルチモーダルコンテキスト（科学論文の図、財務報告書の表、地図、ウェブページなど）に焦点を当てている点が画期的。
コンテキスト利用の失敗箇所を特定しやすくするため、タスクを「コンテキストの基礎付け」「新しい情報の適用」「新しい知識の学習」という3つの明確な次元に分解している点がユニーク。
科学、金融、長文理解、空間推論、ウェブベースのVQAといった幅広い実世界のドメインをカバーしており、汎用的な評価が可能。

3. 技術や手法の肝はどこ？

ベンチマークの設計思想：コンテキスト学習を3つの次元（Grounding, Application, Learning）に分解し、それぞれに対応するタスクを精緻に設計している。
データセット構築：既存の公開ベンチマークをマルチモーダルコンテキスト学習タスクに変換するとともに、自動構築およびフィルタリング手順を用いて新規データセットを効率的に構築。これにより、多様なドメインとタスクタイプを網羅しつつ、構築コストを削減している。
評価プロトコル：3,443のインスタンスと6つの最新マルチモーダルモデルを用いて、各次元でのモデルの性能を詳細に分析し、モデルごとの得意・不得意を明らかにしている。

4. どうやって有効だと検証した？

3,443のインスタンスとInternVL3.5-30B-A3B、Qwen3.5-Plusを含む6つの最新マルチモーダルモデルを用いて評価を実施。
最も性能の良いモデルでも最高スコアが0.2847と低かったことから、現状のマルチモーダルモデルが実世界のマルチモーダルコンテキスト学習タスクにまだ不十分であり、ベンチマークの必要性と課題の難しさを示唆していることを検証。
InternVL3.5-30B-A3BがContext GroundingとNew Knowledge Learningで、Qwen3.5-PlusがNew Information Applicationでそれぞれ最高の性能を示し、ベンチマークがモデルの特性や強みを捉えるのに有効であることを示した。
さらに、評価者の信頼性、コンテキスト長、画像数、代表的な失敗事例に関する詳細な分析を行い、ベンチマークの堅牢性と洞察力を補強した。

5. 議論はある？

現状のマルチモーダルモデルの性能が低い（最高スコア0.2847）ことは、マルチモーダルコンテキスト学習がまだ未成熟な研究分野であり、今後の研究に大きな余地があることを示している。
新規データセットの自動構築・フィルタリング手順は効率的だが、手動アノテーションに比べてデータの品質や複雑さに限界がある可能性も考えられる。これにより、より高度な推論を要するタスクの網羅性に影響があるかもしれない。
評価対象としたモデルの数（6つ）は、最新のモデル群を代表しているが、今後登場する多様なアーキテクチャや学習手法を持つモデルをさらに評価することで、より広範な知見が得られる可能性がある。

6. 次に読むべき論文は？

この論文で評価された主要なマルチモーダルモデル（例: InternVL3.5, Qwen3.5-Plusなど）の元の論文を読むと、それぞれのモデルのアーキテクチャ、学習データ、および強みについて深く理解できる。
テキストベースのコンテキスト学習に関する既存のベンチマークや研究（例: Long-context LLMの評価ベンチマークなど）を調べると、CLBench-Vが解決しようとしている問題設定やその独自性がより明確になる。
マルチモーダルな推論やVQAに関する他の主要なベンチマーク論文（例: ScienceQA, MME, MMBenchなど）と比較することで、CLBench-Vの立ち位置や貢献をより深く理解できるだろう。

Abstract (原文)

Real-world tasks often require models to learn from task-specific context rather than relying only on pre-trained knowledge. While recent work has highlighted this capability as context learning, existing evaluations mainly focus on textual contexts. In many practical settings, however, the context to be learned from is multimodal: scientific findings are conveyed through figures and tables, financial indicators are scattered across converted reports, and spatial decisions depend on maps, scenes, or web pages. We introduce CLBench-V, a benchmark for multimodal context learning that addresses the difficulty of localizing where context use breaks down by organizing tasks around three dimensions: context grounding, new information application, and new knowledge learning. CLBench-V combines converted public benchmarks with newly constructed datasets spanning domains such as science, finance, long-document understanding, spatial reasoning, and web-based visual question answering. To reduce the cost of constructing domain-specific context-learning tasks, we further use automated construction and filtering procedures for our newly built datasets. Across 3,443 instances and six recent multimodal models, the best overall score is only 0.2847, indicating that multimodal context learning remains far from saturated. Moreover, InternVL3.5-30B-A3B performs best on context grounding and new knowledge learning, while Qwen3.5-Plus performs best on new information application. We further analyze judge reliability, context length, image count, and representative failure cases. Code is available at https://github.com/IamLihua/CLBench-V.

📄 arxiv ページ 📑 PDF ⭐ GitHub (3 stars)