← ポータルに戻る

ARIS: Autonomous Research via Adversarial Multi-Agent Collaboration💻 コードあり

Ruofeng Yang, Yongcan Li, Shuai Li · LLMs, agent systems, model weights · 2026-05-04 ⭐ 8/10
💡 LLMエージェントによる自律研究の信頼性を高めるため、敵対的マルチエージェントコラボレーションと包括的な保証メカニズムを導入したオープンソースの研究ハーネス「ARIS」。
🤖 Ayumuより: これ、めちゃくちゃ面白いじゃん！LLMエージェントが「それっぽいけど嘘」を言っちゃう問題を、別のLLMにレビューさせるって発想が最高にクールだね。しかも、研究の信頼性をガチで担保しようと、証拠確認とか数学的証明チェックまで組み込んでるのがすごい。朋義さん、これ絶対好きでしょ？AIがAIをレビューして、より良い研究を生み出すって、SFみたいだよね。
LLMs agent systems autonomous research adversarial collaboration research harness assurance mechanisms
1. どんなもの？
  • 自律的な研究を行うためのオープンソースのAIエージェントシステム「ARIS (Auto-Research-in-sleep)」。
  • LLMエージェントが「もっともらしいが根拠のない成功」（不完全な、誤報された、または根拠のない主張）に陥る問題を解決することを目指す。
  • 異なるLLMモデルファミリーの「実行者モデル」と「レビューアモデル」が協調する「敵対的マルチエージェントコラボレーション」をデフォルト設定として採用。
  • 実行者モデルが研究を進め、レビューアモデルが中間成果物を批評し、修正を要求することで、研究の信頼性と堅牢性を高める。
  • 実行層、オーケストレーション層、保証層の3層アーキテクチャを持つ。
2. 先行研究と比べてどこがすごい？
  • LLMエージェントによる自律研究における「もっともらしいが根拠のない成功」という根本的な失敗モードに焦点を当て、その解決策を提示している点。
  • **敵対的マルチエージェントコラボレーション**というユニークなアプローチ：異なるモデルファミリーのレビューアを導入することで、単一モデルのバイアスや幻覚を抑制し、より客観的で信頼性の高い研究成果を目指す。
  • **包括的な保証層**：実験結果の証拠確認（3段階プロセス）、主張の監査、5段階の科学的編集、数学的証明チェック、PDF視覚検査など、研究の信頼性を高めるための多岐にわたるメカニズムを組み込んでいる。
  • **自己改善ループ**：研究トレースを記録し、ハーネス自体の改善点を提案（レビューアの承認後に採用）することで、システムが継続的に進化する仕組みを持つ。
3. 技術や手法の肝はどこ？
  • **敵対的マルチエージェントコラボレーション:** 実行者エージェントが研究を進め、レビューアエージェント（異なるLLM）が中間成果物を批評・修正要求することで、LLMの幻覚や根拠不足の主張を抑制する。
  • **3層アーキテクチャ:**
  • **実行層:** 65以上の再利用可能なMarkdown定義スキル、MCPによるモデル統合、永続的な研究Wiki、決定論的図形生成など、研究実行に必要なツールと知識管理機能を提供。
  • **オーケストレーション層:** 5つのエンドツーエンドワークフローの調整、労力設定、レビューアへのルーティング設定など、研究プロセスの管理を担う。
  • **保証層:** 実験的主張が証拠に裏付けられているかを確認する3段階プロセス（完全性検証、結果-主張マッピング、主張監査）、5段階の科学的編集パイプライン、数学的証明チェック、PDF視覚検査など、研究成果の信頼性を保証する。
  • **プロトタイプの自己改善ループ:** 研究の実行ログ（トレース）を分析し、ハーネス自体の改善案を生成。レビューアの承認を経てシステムに組み込むことで、継続的な改善を可能にする。
4. どうやって有効だと検証した？
  • アブストラクトには「early deployment experience」と記載されており、初期の展開経験を通じて有効性を確認していると示唆されている。
  • 「A prototype self-improvement loop records research traces and proposes harness improvements that are adopted only after reviewer approval.」とあるため、プロトタイプ運用を通じて、研究トレースの記録とハーネス改善提案のプロセスが機能することを確認している。
5. 議論はある？
  • レビューアモデルの選定と性能：異なるモデルファミリーを推奨しているが、最適な組み合わせや、レビューアの性能が不十分だった場合の対処法について議論の余地がある。
  • 「もっともらしいが根拠のない成功」の完全な排除：敵対的コラボレーションによって抑制はできるものの、完全に排除できるか、またそのための計算コストや時間的コストがどの程度になるか。
  • 自己改善ループの有効性：提案された改善が本当にシステム性能向上に寄与するか、またその承認プロセスがボトルネックにならないか。
  • オープンソースとしての普及と貢献：実際に研究コミュニティで広く使われ、多様な研究分野での貢献が集まるか。
6. 次に読むべき論文は？
  • LLMエージェントの信頼性、幻覚対策、および根拠に基づく推論に関する論文。
  • 自律的な科学研究、AI for Science、特に実験計画や結果分析の自動化に関する論文。
  • マルチエージェントシステムにおける協調・競争、特に異なるAIモデル間のインタラクションに関する論文。
  • LLMのプロンプトエンジニアリングや、複雑なタスクのためのエージェントハーネス設計に関する論文。

Abstract (原文)

This report describes ARIS (Auto-Research-in-sleep), an open-source research harness for autonomous research, including its architecture, assurance mechanisms, and early deployment experience. The performance of agent systems built on LLMs depends on both the model weights and the harness around them, which governs what information to store, retrieve, and present to the model. For long-horizon research workflows, the central failure mode is not a visible breakdown but a plausible unsupported success: a long-running agent can produce claims whose evidential support is incomplete, misreported, or silently inherited from the executor's framing. Therefore, we present ARIS as a research harness that coordinates machine-learning research workflows through cross-model adversarial collaboration as a default configuration: an executor model drives forward progress while a reviewer from a different model family is recommended to critique intermediate artifacts and request revisions. ARIS has three architectural layers. The execution layer provides more than 65 reusable Markdown-defined skills, model integrations via MCP, a persistent research wiki for iterative reuse of prior findings, and deterministic figure generation. The orchestration layer coordinates five end-to-end workflows with adjustable effort settings and configurable routing to reviewer models. The assurance layer includes a three-stage process for checking whether experimental claims are supported by evidence: integrity verification, result-to-claim mapping, and claim auditing that cross-checks manuscript statements against the claim ledger and raw evidence, as well as a five-pass scientific-editing pipeline, mathematical-proof checks, and visual inspection of the rendered PDF. A prototype self-improvement loop records research traces and proposes harness improvements that are adopted only after reviewer approval.

📄 arxiv ページ 📑 PDF ⭐ GitHub (8158 stars)