V-Zero: Answer-Label-Free On-Policy Distillation with Contra

1. どんなもの？

詳細な視覚的推論（Fine-grained visual reasoning）を行うための、新しい学習フレームワーク「V-Zero」を提案。
マルチモーダル大規模言語モデル（MLLM）が画像内の特定の領域を根拠に推論する能力を向上させることを目指す。
回答ラベル（正解テキスト）を使わずに学習できる「Answer-Label-Free」な手法。
既存手法が抱える、アノテーションコストや手作業ルール、テキスト教師への依存といった問題を解決する。
On-Policy Distillation (OPD) をベースに、対照的な証拠ゲーティング (Contrastive Evidence Gating) を導入。
学生モデルが生成した推論軌跡を、質問に関連する画像領域とネガティブな視覚ビューを比較することで評価し、学習を制御する。

2. 先行研究と比べてどこがすごい？

**回答ラベル不要**: 従来の強化学習 (RL) や教師ありファインチューニング (SFT) が必要とする、高コストなアノテーション付き回答ラベルや検証ルールを一切使わない。
**圧倒的な効率性**: 学習速度が非常に速い。
従来のSFT手法より5倍以上高速。
RLベースラインより10倍以上高速。
**性能向上と汎化能力**: 複数のベンチマークで詳細な視覚的推論の性能を一貫して向上させつつ、強力な汎化能力を維持する。
**OPDの限界克服**: OPDが持つ「軌跡レベルの識別能力の欠如」という制約を、対照的な証拠ゲーティングによって克服している。

3. 技術や手法の肝はどこ？

**On-Policy Distillation (OPD) の再解釈と拡張**: OPDを「ネガティブフリーのstop-gradientアライメント」と捉え、トークンレベルの修正は可能だが、軌跡全体の良し悪しを判断できないという課題を明確化。
**Contrastive Evidence Gating (対照的な証拠ゲーティング)**:
回答ラベルの代わりに、質問に関連する「ポジティブな視覚的証拠（領域クロップ）」と「ネガティブな視覚ビュー」のペアを用いる。
学生モデルが生成した推論軌跡が、ポジティブな証拠とどれだけ整合しているか、ネガティブな証拠とどれだけ乖離しているかを評価する。
この評価結果に基づいて、トークンレベルの蒸留（学習）をゲート（制御）することで、軌跡レベルでの識別能力を導入し、より効果的な学習を可能にする。

4. どうやって有効だと検証した？

**複数の視覚的推論ベンチマーク**: 論文では具体的なベンチマーク名は挙げられていないが、「複数の視覚的推論ベンチマーク」で実験を行ったと記載されている。
**定量的評価**:
V-Zeroが「一貫してfine-grained visual reasoningを改善する」ことを示した。
「強力な汎化能力を維持する」ことを示した。
学習速度についても比較し、従来の教師ありファインチューニング手法より5倍以上、強化学習ベースラインより10倍以上高速であることを示した。

5. 議論はある？

**ネガティブサンプルの生成方法**: 「ネガティブな視覚ビュー」をどのように生成するかが、V-Zeroの性能に大きく影響する可能性があり、その詳細な戦略が重要となる。
**「質問に関連する領域クロップ」の特定方法**: 回答ラベルなしで、どのようにして質問に関連するポジティブな画像領域を特定するのか、その精度と自動化のメカニズムが鍵となる。
**OPDの「ネガティブフリー」という性質**: V-Zeroはネガティブな視覚ビューを導入することでOPDの制約を克服しているが、これがOPDの本来の意図とどう整合するのか、あるいは新たなOPDの定義を提案しているのかという議論の余地がある。

6. 次に読むべき論文は？

**On-Policy Distillation (OPD) の原論文**: V-ZeroがOPDを再解釈し、その限界を克服しようとしているため、OPDの基本的な考え方を理解するために読むべき。
**Contrastive Learning (コントラスト学習) の基礎論文**: V-Zeroの肝である「Contrastive Evidence Gating」の背景にあるコントラスト学習のメカニズムを深く理解するため。
**Fine-grained Visual Reasoning の主要ベンチマーク論文**: V-Zeroが評価されたベンチマークのタスク設定や評価指標を理解するため。

Abstract (原文)

Fine-grained visual reasoning requires multimodal large language models (MLLMs) to identify task-relevant visual evidence and ground their reasoning in local image regions. Existing agentic methods typically rely on reinforcement learning with verifiable rewards or supervised fine-tuning on large-scale annotated reasoning traces, leading to costly exploration, hand-designed verification rules, or heavy dependence on textual supervision. A natural way to avoid such external answer labels is to learn from trajectories sampled by the student itself, which points to On-Policy Distillation (OPD). To understand what OPD can and cannot provide for visual reasoning, we revisit it as negative-free stop-gradient alignment. This perspective shows that, although OPD provides effective token-level correction, its ceiling is constrained by the absence of trajectory-level discrimination. Motivated by these observations, we propose V-Zero, an answer-label-free framework for visual reasoning with contrastive evidence gating. V-Zero uses no annotated textual answer labels; instead, during training it pairs a question-relevant regional crop with a negative visual view to evaluate student-sampled trajectories and gate dense token-level distillation. Experiments on multiple visual reasoning benchmarks show that V-Zero consistently improves fine-grained visual reasoning while preserving strong generalization. Notably, V-Zero is more than 5times faster than previous supervised fine-tuning methods and more than 10times faster than reinforcement learning baselines. Code and dataset will be released at https://github.com/eVI-group-SCU/V-Zero

V-Zero: Answer-Label-Free On-Policy Distillation with Contrastive Evidence Gating for Fine-Grained Visual Reasoning💻 コードあり

Abstract (原文)