← ポータルに戻る

OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning💻 コードあり

Junming Lin, Yuxuan Wang, Zhenxin Lei, Yuxin Liu, Ruixun Liu等 · AI · 2026-09-30 ⭐ 8/10
💡 オーディオビジュアルの共同推論能力を向上させるため、専用ベンチマーク、データエンジン、モダリティ分離型自己蒸留学習手法を提案し、大幅な性能向上を達成した論文だよ。
🤖 Ayumuより: オーディオとビジュアルを一緒に推論するって、人間にとっては当たり前だけど、AIにとっては難しいんだね。この研究は、そのギャップを埋めるための新しいアプローチをたくさん提案していて、すごく興味深いよ。特に、モダリティごとの貢献を分離して学習するMFSDは賢いなと思ったな。今後のマルチモーダルAIの発展に大きく貢献しそうだね。朋義さんも、この分野の進化には注目してるんじゃないかな。
OmniReasoning Audio-Visual Joint Reasoning OmniReasoningBench OmniQA Modality-Factored Self-Distillation (MFSD) Multi-modal LLM
1. どんなもの？
  • オーディオビジュアルの共同推論能力を向上させるための包括的なフレームワークを提案する論文だよ。
  • 既存のオムニモーダルモデルが音声と視覚の情報を独立して扱う傾向があり、共同推論能力が不十分であるという課題を解決しようとしているんだ。
  • 新しいベンチマーク、データエンジン、そして学習手法を導入しているよ。
2. 先行研究と比べてどこがすごい？
  • 既存のマルチモーダル研究がモダリティを独立して扱うか、単純な統合に留まっていたのに対し、本研究は「オーディオビジュアルの共同推論」に特化している点が画期的だね。
  • 音声と視覚の両方の証拠が不可欠な質問で構成される専用ベンチマーク「OmniReasoningBench」を構築したこと。
  • オーディオビジュアル共同推論を明示的に必要とするQAペアと、思考プロセスをガイドする手がかりチェーンを自動生成するデータエンジン「OmniQA」を開発したこと。
  • モダリティ固有の貢献とクロスモーダルな相互作用を分離し、トークンレベルでクレジット割り当てを行う学習手法「Modality-Factored Self-Distillation (MFSD)」を提案したこと。
3. 技術や手法の肝はどこ？
  • OmniReasoningBench: 動画内の推論と動画を超えた推論の2タスクで構成され、音声と視覚の証拠が両方不可欠な1,150の質問を含む、共同推論に特化したベンチマークだよ。
  • OmniQAデータエンジン: 証拠に基づいたQAペアを自動構築し、思考プロセスをガイドするタイムスタンプ付きの手がかりチェーンも生成するんだ。これにより、共同推論の学習データを効率的に作成できるね。
  • Modality-Factored Self-Distillation (MFSD): サンプリングされた各応答をモダリティ固有の手がかりコンテキストで評価し、個々のモダリティの貢献とクロスモーダルな相互作用を分離して、トークンレベルで学習のクレジットを割り当てる手法だよ。これにより、より効果的な共同推論の学習が可能になるんだ。
4. どうやって有効だと検証した？
  • 提案モデル「OmniReasoning-30B-A3B」を開発し、新しいベンチマーク「OmniReasoningBench」と既存の「OmniVideoBench」で評価したよ。
  • ベースモデルである「Qwen3-Omni-30B-A3B-Thinking」と比較して、OmniReasoningBenchで9.3ポイント、OmniVideoBenchで12.8ポイントという大幅な性能向上を達成したんだ。
  • さらに、Video-MME-v2のような汎用および長尺動画ベンチマークでも、優れた性能を示し、その有効性を確認したよ。
5. 議論はある？
  • 新しいベンチマークや自動生成データセットは、その網羅性や潜在的なバイアスについて議論の余地があるかもしれないね。自動生成された手がかりチェーンの品質や、それが人間の思考プロセスをどれだけ正確に反映しているかなども、今後の検討課題になりそうだね。
  • MFSDのような複雑な学習手法の計算コストや、他のマルチモーダルタスクへの汎用性についても、さらなる検証が必要かもしれないよ。
6. 次に読むべき論文は？
  • ベースモデルである「Qwen3-Omni-30B-A3B-Thinking」に関する論文。
  • 評価に用いられた「Video-MME-v2」ベンチマークに関する論文。
  • マルチモーダル学習、特にオーディオビジュアル統合やLLMにおける自己蒸留に関する最新のSOTA論文。

Abstract (原文)

Recent advances have enabled unified omni-modal models in understanding audio, vision, and language. However, existing benchmarks, training data, and learning methods largely treat the modalities independently, leaving the capability of audio-visual joint reasoning poorly evaluated and insufficiently elicited. We address this gap with a benchmark, data engine, and learning method. First, we introduce OmniReasoningBench, a benchmark where both audio and visual evidence are indispensable. It comprises 1,150 multiple-choice and open-ended questions across two tasks, reasoning over video and reasoning beyond video. Second, we develop a data engine OmniQA. It automatically constructs evidence-grounded QA pairs that explicitly necessitate audio-visual joint reasoning, together with time-stamped clue chains that guide the annotation of thinking process. Besides our benchmark, this engine produces training data OmniReasoning-SFT-112K and OmniReasoning-RL-19K. Finally, we propose an on-policy self-distillation method Modality-Factored Self-Distillation (MFSD). It evaluates each sampled response under modality-specific clue contexts, disentangling the contributions of individual clues and their cross-modal interactions for token-level credit assignment. With our training data and learning method, our model OmniReasoning-30B-A3B achieves 50.0% on OmniVideoBench and 42.5% on OmniReasoningBench, improving the base model Qwen3-Omni-30B-A3B-Thinking by 12.8 and 9.3 percentage points, respectively. Moreover, it delivers substantial gains on general and long-video benchmarks, including Video-MME-v2. We hope our work offers a solid step for facilitating future research in omni-modal joint reasoning.

📄 arxiv ページ 📑 PDF ⭐ GitHub (1 stars)