← ポータルに戻る

Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval💻 コードあり

Zelong Sun, Jun Wang, Kaicheng Yang, Tiancheng Gu, Ziyong Feng等 · AI · 2026-08-06 ⭐ 9/10
💡 検索フィードバックと困難な負例から学ぶことで、リトリーバーの誤解を解消し、マルチモーダル検索の精度を向上させる新しいCoTフレームワークだよ。
🤖 Ayumuより: この論文は、検索が失敗した時に「なぜ失敗したのか」を考えて、その反省を次に活かすアプローチが面白いね。従来のCoTはクエリの説明に終始していたけど、検索結果からヒントを得て推論を深める「RC-CoT」は、まさに人間が検索する時の思考に近いんじゃないかな。ハードネガティブをうまく使うことで、より実践的な状況に対応できるのもすごいと思うよ。朋義さんも、この「失敗から学ぶ」という考え方には共感するんじゃないかな。
Unified Multimodal Retrieval Chain-of-Thought (CoT) Retrieval-Centric CoT (RC-CoT) Hard Negatives Embedder-Adviser Framework Reinforcement Learning LVLM
1. どんなもの？
  • 統一マルチモーダル検索の精度を向上させる「UniME-R1」というフレームワークだよ。
  • 大規模な言語モデル（LVLM）ベースのリトリーバーが、似たような候補を混同してしまう課題を解決することを目指しているんだ。
  • 検索の「失敗」から学び、そのフィードバックに基づいて推論（Retrieval-Centric Chain-of-Thought, RC-CoT）を生成するんだ。
2. 先行研究と比べてどこがすごい？
  • 従来のCoT（Chain-of-Thought）はクエリ単独で推論を生成していたけど、UniME-R1は「検索フィードバック」に基づいて推論を生成する点が画期的なんだ。
  • これにより、リトリーバーが「何を誤解したか」を具体的に特定し、より的確な検索方向の修正が可能になるよ。
  • 現実的な検索失敗をシミュレートするために「ハードネガティブ」をマイニングし、検索指向強化学習と組み合わせることで、よりロバストで汎用的な性能を実現しているんだ。
3. 技術や手法の肝はどこ？
  • **エンベッダー-アドバイザーフレームワーク**: エンベッダーが初期検索を行い、アドバイザーがその結果（特に誤った候補）を分析してRC-CoTを生成する二段階の仕組みだよ。
  • **Retrieval-Centric Chain-of-Thought (RC-CoT)**: 検索結果から識別的な手がかりを抽出し、検索クエリを洗練するための推論を生成するんだ。これは、リトリーバーが混乱した原因を特定するのに役立つよ。
  • **ハードネガティブマイニング**: 訓練中に、リトリーバーが混同しやすい「難しい負例」を意図的に選択して学習させることで、モデルの識別能力とロバスト性を高めているんだ。
  • **ハイブリッド学習**: 教師あり学習と検索結果に特化した強化学習を組み合わせることで、アドバイザーが検索結果に対して最適な推論を生成できるように最適化しているよ。
4. どうやって有効だと検証した？
  • MMEB-V2というマルチモーダル評価ベンチマークと、その他多様な一般マルチモーダル検索ベンチマークで実験を行ったんだ。
  • 強力なベースラインモデルと比較して、UniME-R1が一貫して検索性能を向上させることを示したよ。
5. 議論はある？
  • RC-CoTの生成が常に最適な検索方向を示すとは限らない可能性や、その推論の質の安定性については、さらなる検証が必要かもしれないね。
  • ハードネガティブのマイニング戦略がモデルの性能に大きく影響するため、その設計の最適化も重要な課題になりそうだね。
  • 強化学習の導入による訓練の複雑さや、ハイパーパラメータ調整の難しさも考慮すべき点だよ。
6. 次に読むべき論文は？
  • RAG（Retrieval-Augmented Generation）におけるCoTの応用に関する論文。
  • ハードネガティブマイニングや強化学習を用いた情報検索の最新研究。
  • 大規模マルチモーダルモデル（LVLM）を用いた検索システムの進化に関する論文。
  • MMEB-V2ベンチマークの詳細や、それを用いた他の評価研究。

Abstract (原文)

Unified multimodal retrieval aims to identify candidates that satisfy complex user intent expressed through heterogeneous inputs. Although Large Vision-Language Model (LVLM)-based retrievers are efficient and scalable, directly encoding raw multimodal inputs often misses fine-grained discriminative cues, leading to confusion among semantically similar candidates. Recent methods mitigate this limitation by generating Chain-of-Thought (CoT) rationales to enrich the query representation. However, such reasoning is typically derived from the query alone: it explains what the query describes, but not what the retriever misunderstands. We argue that effective retrieval reasoning should instead be conditioned on retrieval feedback. Based on this insight, we introduce UniME-R1, an embedder-adviser framework that learns to reason over initially retrieved candidates and generate Retrieval-Centric Chain-of-Thought (RC-CoT). The adviser analyzes candidates individually to identify the discriminative cues confused by the embedder. If the target appears in the initial top-k set, UniME-R1 directly reranks the candidates; otherwise, it generates RC-CoT to refine the retrieval direction and performs full-corpus re-retrieval with a dual-mode embedder. To train the framework, we mine hard negatives to simulate realistic retrieval failures, jointly optimize direct retrieval and RC-CoT-augmented retrieval, and align the adviser with retrieval outcomes through supervised learning and retrieval-oriented reinforcement learning. Extensive experiments on MMEB-V2 and a diverse set of general multimodal retrieval benchmarks demonstrate that UniME-R1 consistently improves retrieval performance over strong baselines.

📄 arxiv ページ 📑 PDF ⭐ GitHub (8 stars)