← ポータルに戻る

Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent💻 コードあり

Lei Bai, Zongsheng Cao, Yang Chen, Zhiyao Cui, Shangheng Du等 · Mixture-of-Experts, agentic model, agent horizon · 2026-06-29 ⭐ 9/10
💡 パラメータではなくエージェントの「ホライズン」をスケールすることで、35BのMoEエージェントモデルが1兆パラメータ級の長ホライズンタスク性能を達成した。
🤖 Ayumuより: これ、めっちゃ面白いじゃん！パラメータ数じゃなくて「ホライズン」をスケールするって発想が新しいよね。35Bで1兆パラメータ級の性能出すとか、コスパ最強すぎ。MoEと蒸留で賢く知識を統合してるのがミソだね。朋義さん、これからのエージェント開発の方向性を示す論文かも！
Mixture-of-Experts agentic model agent horizon knowledge distillation long-horizon tasks
1. どんなもの？
  • 35BパラメータのMixture-of-Experts (MoE) エージェントモデル「Agents-A1」を提案。
  • パラメータ数を増やすのではなく、「エージェントホライズン」をスケールすることで、1兆パラメータ級の性能を達成します。
  • エージェントホライズンのスケーリングを2つの側面から探求。
  • 長い軌跡（long-horizon trajectories）の処理能力向上。
  • 複数の異なるエージェント能力（heterogeneous agent abilities）の統合。
  • 外部知識、アクション、観測、検証結果を繋ぐ長ホライズン知識-アクションインフラを構築し、平均45Kトークンのエージェント軌跡を生成します。
2. 先行研究と比べてどこがすごい？
  • 既存の1兆パラメータ級モデル（Kimi-K2.6, DeepSeek-V4-proなど）と同等かそれ以上の性能を、わずか35Bパラメータのモデルで実現した点。
  • 特に、長ホライズンタスクにおいて、SEAL-0, IFBench, HiPhO, FrontierScience-Olympiad, MolBench-Bindなどのベンチマークで優れた結果を示しています。
  • パラメータスケーリングに依存せず、エージェントの「ホライズン」と「能力統合」という異なるアプローチで高性能を達成した、実用的なスケーリングパスを提示しています。
3. 技術や手法の肝はどこ？
  • 3段階の訓練レシピを採用しています。
  • **ステージ1: 全ドメインSFT**：ベースモデルを広範なエージェント行動にアラインさせるための教師ありファインチューニング。
  • **ステージ2: ドメインレベル教師モデル訓練**：各専門ドメイン（6つ）に特化した教師モデルを訓練し、専門知識を習得させます。
  • **ステージ3: マルチティーチャー・ドメインルーティング型オンポリシー蒸留**：
  • 複数の教師モデルからの知識を効率的に学生モデルに転送する手法。
  • 顕著な語彙アラインメント (salient vocabulary alignment) を用いて、異なるドメイン間の知識転送効率を向上させます。
  • これにより、6つの異なる専門ドメインの能力を1つの35B学生モデルに統合します。
  • 長ホライズン知識-アクションインフラの構築：外部知識、アクション、観測、検証結果を連結し、複雑なタスクを解決するための長いエージェント軌跡（平均45Kトークン）を生成します。
4. どうやって有効だと検証した？
  • 長ホライズンエージェントベンチマーク（SEAL-0, IFBench, HiPhO, FrontierScience-Olympiad, MolBench-Bind, SciCode, HLE, BrowseComp）を用いて性能を評価しました。
  • 1兆パラメータ級の既存モデル（Kimi-K2.6, DeepSeek-V4-pro）と比較。
  • 結果として、多くのベンチマークでこれらの大規模モデルを上回り、残りのベンチマークでも非常に競争力のある結果を示しました。
5. 議論はある？
  • 論文のアブストラクトからは直接的な議論点や限界は読み取れませんが、一般的にMoEモデルや蒸留手法には以下のような議論が考えられます。
  • 複数の教師モデルの訓練と蒸留プロセスの複雑性、それに伴う計算コスト。
  • 統合された学生モデルが、個々の専門教師モデルの性能を完全に再現できるか、あるいは特定のドメインで性能が低下する可能性。
  • 「エージェントホライズン」の定義や測定方法のさらなる標準化の必要性。
  • 提案手法が、さらに多くのドメインやより複雑なタスクにスケールする際の課題。
6. 次に読むべき論文は？
  • Mixture-of-Experts (MoE) モデルの構造や訓練に関する論文。
  • エージェントモデルにおける長ホライズンプランニングや推論に関する論文。
  • 知識蒸留 (Knowledge Distillation) の最新手法、特にマルチティーチャーやドメイン適応型蒸留に関する論文。
  • Kimi-K2.6やDeepSeek-V4-proなど、比較対象となった大規模エージェントモデルの論文。

Abstract (原文)

We introduce Agents-A1, a 35B Mixture-of-Experts Agentic Model that reaches trillion-parameter-level performance by scaling the agent horizon. We investigate agent-horizon scaling from two perspectives: scaling long-horizon trajectories and scaling heterogeneous agent abilities. To support this goal, we build a long-horizon knowledge-action infrastructure that connects external knowledge, actions, observations, and verifier outcomes, producing agentic trajectories with an average length of 45K tokens. Based on this, we train Agents-A1 with a three-stage recipe. First, we perform full-domain supervised fine-tuning to align the base model with broad agentic behaviors. Second, we train domain-level teacher models to capture specialized expertise in each domain. Third, we propose a multi-teacher domain-routed on-policy distillation with salient vocabulary alignment to improve knowledge transfer efficiency across different domains, unifying six heterogeneous domains into one deployable student model. Agents-A1 achieves strong and broad performance for long-horizon agent benchmarks. Compared with 1T-parameter model such as Kimi-K2.6 and DeepSeek-V4-pro, Agents-A1 achieves leading results on SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), and MolBench-Bind (56.8), and remains highly competitive on SciCode (44.3), HLE (47.6) and BrowseComp (75.5). We hope this work provides the community with a practical path for scaling the horizon using a 35B agent that can reach or match the performance of 1T models on long-horizon tasks.

📄 arxiv ページ 📑 PDF ⭐ GitHub (68 stars)