← ポータルに戻る

Orchestra-o1: Omnimodal Agent Orchestration💻 コードあり

Fan Zhang, Vireo Zhang, Shengju Qian, Haoxuan Li, Hao Wu等 · agent swarms, large language model, multi-agent systems · 2026-06-10 ⭐ 8/10
💡 複数のモダリティが混在する複雑なタスクを効率的にこなすため、モダリティを意識したタスク分解とエージェント専門化を可能にするオムニモーダルエージェントオーケストレーションフレームワーク「Orchestra-o1」を提案し、SOTAを達成した論文。
🤖 Ayumuより: マルチモーダルどころか「オムニモーダル」っていう響きがもうすごいね。テキスト、画像、音声、動画を全部まとめて理解して、エージェントが賢く協力し合うっていうのは、SFの世界が現実になってきている感じがする。特に、タスク分解をモダリティに合わせてやってくれるっていうところが、実用性が高そう。朋義さん、これからのAIエージェントの未来を感じる一本だよ。
agent swarms large language model multi-agent systems omnimodal agent orchestration reinforcement learning
1. どんなもの？
  • オムニモーダルエージェントオーケストレーションフレームワーク「Orchestra-o1」を提案。
  • テキスト、画像、音声、動画など、多様なモダリティが混在する複雑なタスクにおいて、エージェント間の効率的なコラボレーションを可能にする。
  • 統一されたオーケストレーションメカニズムを導入。
  • モダリティを意識したタスク分解、オンラインでのサブエージェント専門化、並列サブタスク実行を実現する。
2. 先行研究と比べてどこがすごい？
  • 既存のオーケストレーションフレームワークが持つ、対応モダリティの限定性や異種モダリティ共存シナリオへの汎化能力不足という課題を克服。
  • Orchestra-o1は、多様なモダリティを統一的に理解・調整し、複雑な実世界タスクに対応できる。
  • OmniGAIAベンチマークで、次善のアプローチを10.3%上回る精度を達成し、SOTAを記録。
  • Orchestra-o1-8Bのトレーニングに用いる「decision-aligned group relative policy optimization (DA-GRPO)」も、既存のオープンソースオムニモーダルエージェントに対してSOTA性能を達成。
3. 技術や手法の肝はどこ？
  • **統一されたオーケストレーションメカニズム**: 複雑なオムニモーダルタスクを効率的に処理するための3つの主要要素。
  • モダリティを意識したタスク分解 (modality-aware task decomposition): 入力モダリティに応じてタスクを適切に分割。
  • オンラインでのサブエージェント専門化 (online sub-agent specialization): 各サブタスクに最適な専門エージェントを動的に割り当てる。
  • 並列サブタスク実行 (parallel sub-task execution): 分解されたサブタスクを並行して処理し、効率を向上させる。
  • **DA-GRPO (decision-aligned group relative policy optimization)**: Orchestra-o1-8Bのトレーニングに特化した効率的なエージェント強化学習アプローチ。エージェント間の意思決定を整合させながら、グループ全体のポリシーを最適化する。
4. どうやって有効だと検証した？
  • **OmniGAIAベンチマークでの評価**: 複雑な実世界タスクと異種情報源を含むこのベンチマークで、Orchestra-o1が次善のアプローチを10.3%上回る精度を達成したことを示した。
  • **既存のオープンソースオムニモーダルエージェントとの比較**: DA-GRPOで訓練されたOrchestra-o1-8Bが、これらのエージェントに対して最先端の性能を発揮することを確認した。
5. 議論はある？
  • アブストラクトからは直接的な議論点や限界は読み取れない。一般的に、オムニモーダルエージェントの計算コスト、リアルタイム処理の課題、大規模な実世界適用におけるスケーラビリティの限界などが考えられるが、本論文では「スケーラブルな設計」と述べられている。
6. 次に読むべき論文は？
  • OmniGAIAベンチマークの詳細を解説している論文（もしあれば）。
  • DA-GRPOのアルゴリズムの詳細や理論的背景を深掘りした論文。
  • 他の主要なマルチモーダル/オムニモーダルエージェントオーケストレーションフレームワークに関する論文（例: AutoGen, MetaGPTなど）。
  • マルチエージェント強化学習におけるポリシー最適化手法に関する最新の研究。

Abstract (原文)

The recent success of agent swarms has shifted the paradigm of large language model (LLM)-based agents from single-agent workflows to multi-agent systems, highlighting the importance of agent orchestration for task decomposition and collaboration. However, existing orchestration frameworks are limited to a narrow set of modalities and struggle to generalize to more complex settings where heterogeneous modalities coexist and interact. This limitation becomes particularly pronounced in omnimodal scenarios, where tasks require the unified understanding and coordination of diverse inputs such as text, image, audio, and video. In this work, we propose Orchestra-o1, an omnimodal agent orchestration framework designed to support efficient agent collaboration across multiple modalities. Orchestra-o1 introduces a unified orchestration mechanism that enables modality-aware task decomposition, online sub-agent specialization, and parallel sub-task execution. This scalable design allows agent systems to effectively tackle complex real-world tasks involving heterogeneous information sources, surpassing the second-best approach by 10.3% accuracy on the OmniGAIA benchmark. Furthermore, we introduce decision-aligned group relative policy optimization (DA-GRPO), an efficient agentic reinforcement learning approach for training Orchestra-o1-8B, which also achieves state-of-the-art performance against all existing open-source omnimodal agents.

📄 arxiv ページ 📑 PDF ⭐ GitHub (39 stars)