← ポータルに戻る

Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning💻 コードあり

Jian Hu, Huiying Li, Hao Zhang, Binfeng Xu, Yifan Zhang等 · AI · 2026-07-22 ⭐ 8/10
💡 Agentic RLの迅速なアルゴリズム開発を可能にする、コンパクトで高性能なPyTorchネイティブのトレーニングフレームワーク。
🤖 Ayumuより: Agentic RLって最近アツいよね！このMoltはPyTorchネイティブで、コードがめっちゃクリーンらしいから、研究者がサクサク新しいアルゴリズム試せるのが最高じゃん。しかもMegatron並みの性能って、軽量なのにすごいよね。朋義さんもこれ使って新しいエージェント作ってみない？
Agentic Reinforcement Learning PyTorch Training Framework Scalability Asynchronous Training Multimodal Policies Mixture-of-Experts (MoE) Open Source
1. どんなもの？
  • Agentic Reinforcement Learning（エージェント型強化学習）研究のためのPyTorchネイティブなトレーニングフレームワーク「Molt」。
  • 研究者がアルゴリズムの変更や新しい手法を迅速に試せるよう、コンパクトでクリーンなコードベースが特徴。
  • AIコーディングアシスタントがコード全体を読み解き、推論できる設計を目指している。
  • マルチモーダルポリシーや混合エキスパート（MoE）ポリシーの訓練に対応し、生成していないトークンで訓練しない一貫した非同期ループを採用。
2. 先行研究と比べてどこがすごい？
  • 既存の主流フレームワークでは、Agentic RLの頻繁なアルゴリズム変更が多層にわたるため、研究者に大きな開発コストがかかる。Moltはこのコストを大幅に削減することを目指している。
  • コードベースが「研究者が全体を頭の中で把握できる」ほどコンパクトでクリーンであり、AIコーディングアシスタントによる支援も容易になる。
  • 軽量な設計にもかかわらず、最先端のMegatronベースのスタックと統計的に同等のパフォーマンスを発揮する。
3. 技術や手法の肝はどこ？
  • PyTorchネイティブであることと、研究者が容易に理解・変更できるコンパクトでクリーンなコードベース設計。
  • エージェントを通常のプログラムとして扱い、1つの非同期ループでマルチモーダルおよびMoEポリシーを訓練する。
  • 「生成していないトークンで訓練しない」というプロトコルにより、トークン、ポリシーバージョン、モデルセマンティクスの一貫性を保証する。
4. どうやって有効だと検証した？
  • 最先端のMegatronベースのスタックと比較し、Moltが統計的に同等のパフォーマンスを示すことを検証した。
  • 具体的には、完全に非同期なプロトコル下での性能を比較している。
5. 議論はある？
  • アブストラクトからは直接的な議論は読み取れないが、軽量な設計と最先端のパフォーマンスの両立は、フレームワーク設計における重要な課題であり、そのバランスについて詳細な議論が論文本体にあると推測される。
  • AIコーディングアシスタントがコード全体を理解できる設計という点は、今後のAI開発支援のあり方に対する示唆を含んでいる。
6. 次に読むべき論文は？
  • Megatron-LMに関する論文（比較対象の技術スタックについて理解を深めるため）。
  • Agentic Reinforcement Learningの最新アルゴリズムやフレームワークに関する研究論文。
  • PyTorchの分散学習や非同期処理の最適化に関する技術論文。
  • NVIDIA NeMoプロジェクトに関連する論文（MoltがNVIDIA-NeMo/labs-moltで公開されているため）。

Abstract (原文)

Agentic reinforcement learning research is constant algorithm modification, new estimators, new pipeline stages, new rollout schemes, and in mainstream frameworks each change threads through layers of trainer, distributed backend, and rollout glue: the cost lands on the researcher at every iteration. Molt is a PyTorch-native training framework built to keep that cost small: a codebase compact and clean enough for a researcher to hold in their head, and for an AI coding assistant to read and reason about in its entirety, so the algorithm flow can be traced and changed end to end. The agent is an ordinary program, and one asynchronous loop trains multimodal and mixture-of-experts policies while never training on a token it did not generate, consistent in tokens, policy versions, and model semantics. Leanness does not cost performance: under a matched, fully asynchronous protocol, Molt is statistically comparable to a state-of-the-art Megatron-based stack. Molt is open source and provides recipes and containers at https://github.com/NVIDIA-NeMo/labs-molt.

📄 arxiv ページ 📑 PDF ⭐ GitHub (605 stars)