← ポータルに戻る

Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction💻 コードあり

Zhuofeng Li, Haoxiang Zhang, Cong Wei, Pan Lu, Ping Nie等 · retrieval systems, lexical retrieval, semantic retrieval · 2026-05-03 ⭐ 8/10
💡 エージェントが埋め込みモデルやベクトルインデックスなしで`grep`などの汎用シェルコマンドを直接利用し、生のコーパスと高解像度で対話する「Direct Corpus Interaction (DCI)」が、従来の検索手法を凌駕し、エージェント検索の新たな可能性を開く。
🤖 Ayumuより: これ、めちゃくちゃ面白いね！LLMエージェントが賢くなってきたら、わざわざベクトル検索とかAPI経由じゃなくて、直接`grep`とか`cat`で生データ触らせた方が、細かいニュアンスとか構造まで見れて、結果的に賢い検索ができるって発想、目からウロコだよ。まさに「インターフェースの解像度」ってやつだね。朋義さんも、LLMがOSと直接対話する未来にワクワクするんじゃないかな？
Direct Corpus Interaction (DCI) Agentic Search Retrieval Systems Language Agents Shell Commands Grep Information Retrieval LLM Tools
1. どんなもの？
  • Direct Corpus Interaction (DCI) という、エージェントがコーパスと直接対話する新しい検索パラダイムを提案。
  • 従来のセマンティック/レキシカル検索APIではなく、`grep`、`cat`、`find`などの汎用シェルコマンドや軽量スクリプトを直接利用し、生のテキストデータを操作する。
  • 埋め込みモデル、ベクトルインデックス、オフラインインデックス作成が不要で、動的に変化するローカルコーパスに自然に適応する。
2. 先行研究と比べてどこがすごい？
  • 従来の検索システムは、コーパスへのアクセスを「単一のトップk検索ステップ」という固定の類似性インターフェースに圧縮しており、エージェントの複雑な検索要求（厳密な語彙制約、多段階推論、部分証拠に基づく計画修正など）に対応しきれなかった。
  • DCIは、このボトルネックを解消し、エージェントがより柔軟かつ高解像度でコーパスと対話できるようにする。
  • 従来の強力な疎（BM25）、密（Contriever, DPR）、再ランキング（ColBERTv2, MonoT5）ベースラインを、IRベンチマークとエージェント検索タスクの両方で大幅に上回る性能を示し、セマンティック検索器なしで高い精度を達成した。
3. 技術や手法の肝はどこ？
  • **直接コーパス対話 (DCI):** エージェントがLLMの推論能力と組み合わせて、`grep`, `cat`, `find`, `sed`などの標準的なターミナルツールや軽量スクリプトを直接実行し、生のテキストファイルやディレクトリ構造を探索・操作する。
  • **インターフェースの解像度:** 従来の検索APIが提供する「類似度スコアとトップkドキュメント」という低解像度な情報ではなく、DCIはエージェントにコーパスの「生データ」と「構造」への高解像度なアクセスを提供する。これにより、エージェントはより詳細なクエリ、ローカルな文脈チェック、多段階の仮説検証が可能になる。
  • **インデックスフリー:** 事前インデックス作成が不要なため、動的に変化するコーパスやローカルなファイルシステムに容易に適応できる。
4. どうやって有効だと検証した？
  • **IRベンチマーク:** BRIGHTおよびBEIRデータセット（情報検索タスク）で評価。
  • **エンドツーエンドのエージェント検索タスク:** BrowseComp-Plus（ウェブブラウジングと情報抽出）、マルチホップQA（複数文書からの推論）で評価。
  • **比較対象:** 強力な疎（BM25）、密（Contriever, DPR, OpenAI Ada）、および再ランキング（ColBERTv2, MonoT5）ベースラインと比較。
  • **結果:** DCIはこれらのベンチマークとタスクにおいて、従来のセマンティック検索器に依存せずに、ベースラインを大幅に上回る性能を示し、その有効性を実証した。
5. 議論はある？
  • **計算コスト:** 汎用シェルコマンドの直接実行は、最適化されたベクトル検索に比べて、大規模コーパスでの検索効率が問題になる可能性がある。ただし、エージェントの推論能力で効率的な検索パスを見つけることが期待される。
  • **エージェントの能力への依存:** DCIの有効性は、エージェント（LLM）がシェルコマンドを適切に生成し、検索結果を解釈し、多段階の計画を立てる能力に強く依存する。エージェントの推論能力が低い場合、DCIの利点は発揮されにくい。
  • **インターフェース設計空間:** 本研究は、エージェントとコーパス間のインターフェース設計の重要性を強調しており、DCIはその一つの極端な例。今後、DCIと従来の検索手法を組み合わせたハイブリッドアプローチや、より洗練された中間的なインターフェースの可能性が考えられる。
6. 次に読むべき論文は？
  • **エージェントの推論能力に関する論文:** DCIはエージェントの推論能力に依存するため、LLMのエージェント能力（計画、ツール利用、自己修正など）を向上させる研究（例: ReAct, Tree of Thoughts, Reflexionなど）。
  • **ツール利用型LLMに関する論文:** LLMが外部ツール（API、シェルコマンドなど）を効果的に利用する方法に関する研究。
  • **ハイブリッド検索システムに関する論文:** DCIのような直接対話と、従来のセマンティック検索を組み合わせることで、それぞれの欠点を補い合うアプローチ。

Abstract (原文)

Modern retrieval systems, whether lexical or semantic, expose a corpus through a fixed similarity interface that compresses access into a single top-k retrieval step before reasoning. This abstraction is efficient, but for agentic search, it becomes a bottleneck: exact lexical constraints, sparse clue conjunctions, local context checks, and multi-step hypothesis refinement are difficult to implement by calling a conventional off-the-shelf retriever, and evidence filtered out early cannot be recovered by stronger downstream reasoning. Agentic tasks further exacerbate this limitation because they require agents to orchestrate multiple steps, including discovering intermediate entities, combining weak clues, and revising the plan after observing partial evidence. To tackle the limitation, we study direct corpus interaction (DCI), where an agent searches the raw corpus directly with general-purpose terminal tools (e.g., grep, file reads, shell commands, lightweight scripts), without any embedding model, vector index, or retrieval API. This approach requires no offline indexing and adapts naturally to evolving local corpora. Across IR benchmarks and end-to-end agentic search tasks, this simple setup substantially outperforms strong sparse, dense, and reranking baselines on several BRIGHT and BEIR datasets, and attains strong accuracy on BrowseComp-Plus and multi-hop QA without relying on any conventional semantic retriever. Our results indicate that as language agents become stronger, retrieval quality depends not only on reasoning ability but also on the resolution of the interface through which the model interacts with the corpus, with which DCI opens a broader interface-design space for agentic search.

📄 arxiv ページ 📑 PDF ⭐ GitHub (72 stars)