← ポータルに戻る

Show, Don't Tell: Evaluating Spatial Cognition in Generative Pixels Rather Than LLM Text💻 コードあり

Xu Wang, Kaixiang Yao, Miao Pan, Xiaohe Zhou, Xuanyu Liu等 · AI · 2026-07-23 ⭐ 8/10
💡 画像生成モデルの空間知能をピクセル空間での直接的な表現で評価するための新しいフレームワークProVisEと診断ベンチマークSpatialGen-Benchを提案し、VLMとの比較を通じて両者の補完的な強みを明らかにした論文。
🤖 Ayumuより: この論文、画像生成モデルの空間認識能力を「Show, Don't Tell」で評価するってのが面白いね！テキストじゃなくて直接絵で答えさせるって発想、すごく自然だよね。VLMと画像生成モデルの得意分野が違うって結果も興味深いし、今後のAI開発に役立ちそう。朋義さんもきっと好きだと思うな！
Spatial intelligence Image-generation models Visual reasoning Benchmarking ProVisE SpatialGen-Bench Vision-Language Models
1. どんなもの？
  • 空間知能を評価するための新しいフレームワーク「ProVisE」と診断ベンチマーク「SpatialGen-Bench」を提案する論文です。
  • 既存の空間推論ベンチマークがテキストや座標を要求し、画像生成モデルの評価に適さない「回答インターフェースの不一致」を解決することを目指しています。
  • 画像生成モデルがピクセル空間で直接空間判断を表現できる能力を、テキスト出力VLMと比較して評価します。
2. 先行研究と比べてどこがすごい？
  • 既存の空間推論ベンチマークは、テキストや座標の出力形式を要求するため、画像生成モデルの「ピクセル空間で直接視覚的回答を生成する能力」を適切に評価できませんでした。
  • ProVisEは、画像生成モデルからプロトコルに制約された視覚的回答（指差し、マーキング、描画など）を引き出し、それを既存の評価指標と互換性のある構造化された予測に解析する、ベンチマークに依存しない初のフレームワークです。
  • これにより、画像生成モデルとテキスト出力VLMを同じタスクセマンティクスで統一的に評価できるようになった点が画期的です。
3. 技術や手法の肝はどこ？
  • **ProVisE (Protocolized Visual Evaluation) フレームワーク:**
  • 画像生成モデルに対して、特定のプロトコル（例: 指差し、マーキング、描画）に従った視覚的回答を生成するよう促します。
  • 生成された視覚的回答を解析し、元のベンチマークの評価指標と互換性のある構造化された予測（例: 座標、領域）に変換します。
  • **Agentic builder:**
  • 新しいベンチマークに対して、タスク固有のプロトコルを自動的に構築し、検証する機能を提供します。
  • **SpatialGen-Bench:**
  • 14の空間サブタスク、4つの能力レベル、多様な回答形式を持つ470サンプルの診断ベンチマークを新たに導入しました。
4. どうやって有効だと検証した？
  • 代表的なテキスト出力VLMと画像生成モデルを、ProVisEとSpatialGen-Benchを含む統一された設定で評価しました。
  • Agentic builderによるプロトコル構築を、6つの外部空間ベンチマークで検証しました。
  • 結果として、画像生成モデルは空間的回答をピクセル空間で直接表現できる場合に競争力があることを示し、テキスト出力VLMはより複雑な構成的空間推論において明確な優位性を持つことを明らかにしました。
5. 議論はある？
  • 画像生成モデルがピクセル空間での直接的な空間表現に優れる一方で、テキスト出力VLMが構成的空間推論において明確な優位性を持つという結果は、両者の異なる強みと限界を示唆しています。
  • ProVisEは既存のベンチマークの回答インターフェースの不一致を解決しますが、プロトコルの設計や解析の堅牢性、多様な空間タスクへの適用範囲については、さらなる研究や議論の余地があるかもしれません。
6. 次に読むべき論文は？
  • 空間知能、視覚推論、マルチモーダルAIのベンチマークに関する論文。
  • 画像生成モデルの評価手法や、テキストと視覚の統合的な推論能力を比較した論文。
  • 特に、VLMs (Vision-Language Models) の空間推論能力を評価する既存のベンチマーク論文や、画像生成モデルの評価指標に関する論文。

Abstract (原文)

Spatial intelligence is essential for agents to move from static semantic understanding toward interacting with the physical world. Many spatial tasks are grounded in continuous visual scenes, where locations, regions, and paths are more naturally expressed by pointing, marking, or drawing than by reporting precise coordinates or discrete textual symbols. Yet existing spatial reasoning benchmarks usually require coordinates, options, or text, creating an answer-interface mismatch for image-generation models. This makes it difficult to evaluate image-generation models under the same task semantics as text-output VLMs, despite their ability to externalize spatial judgments directly in pixel space. We propose ProVisE (Protocolized Visual Evaluation), a benchmark-agnostic framework that elicits protocol-constrained visual answers from image-generation models and parses them into structured predictions compatible with original metrics. ProVisE also includes an Agentic builder that constructs and validates task-specific protocols for new benchmarks. We further introduce SpatialGen-Bench, a curated diagnostic benchmark of 470 samples across 14 spatial subtasks, four capability levels, and diverse answer forms. We evaluate representative text-output VLMs and image-generation models in a unified setting and validate Agentic protocol construction on six external spatial benchmarks. Results show that image-generation models are competitive when spatial answers can be externalized directly in pixel space, while text-output VLMs retain a clear advantage in compositional spatial reasoning. These findings reveal complementary strengths of pixel-space expression and text-based reasoning and establish a metric-compatible testbed for studying spatial cognition in image-generation models.

📄 arxiv ページ 📑 PDF ⭐ GitHub (18 stars)