← ポータルに戻る

Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills💻 コードあり

Siyuan Huang, Pengyu Cheng, Haotian Liu, Tao Chen, Yihao Liu等 · AI · 2026-07-24 ⭐ 8/10
💡 LLMの自己進化において、タスク多様性と検証信頼性のジレンマを「スキル」の共進化で解決し、能力向上を加速するフレームワークSkill-SPを提案。
🤖 Ayumuより: LLMの自己進化って、まさにAIがAIを賢くするって感じでワクワクするよね！特に「スキル」っていう概念で、タスクの多様性と検証の信頼性を両立させるって発想がめちゃくちゃスマートだと思った。これ、LLMがどんどん賢くなって、最終的には人間が教えなくても勝手に進化していく未来に繋がるんじゃないかな。朋義さんもこういう自律進化システム、好きでしょ？
Skill Self-Play LLM 自己進化 強化学習 スキル学習 ツール使用 推論 Proposer-Solverフレームワーク
1. どんなもの？
  • LLMの自己進化フレームワーク「Skill Self-Play (Skill-SP)」を提案。
  • LLMの能力を向上させるため、タスク生成、問題解決、スキル管理を統合した共進化システム。
  • 既存の自己進化手法が抱える「タスク多様性」と「検証信頼性」のジレンマを解決することを目指す。
2. 先行研究と比べてどこがすごい？
  • 既存の自己進化手法は、環境依存型だとタスクが狭く、オープンエンド型だと検証が不確実で誤った学習に繋がる問題があった。
  • Skill-SPは「スキル」という概念を導入することで、このジレンマを解消。
  • 各スキルは特定のシナリオで深く検証可能な実行を保証し、信頼性を確保。
  • スキル間の動的ルーティングにより、オープンエンドなタスク多様性を維持。
  • これにより、構造化された検証とオープンエンドな探索を両立させ、LLMの継続的な能力向上を可能にする。
3. 技術や手法の肝はどこ？
  • 3つの主要コンポーネントの共進化:
  • Proposer: 動的にサンプリングされたスキルに基づいて、挑戦的なタスクを生成。
  • Solver: 生成されたタスクに対して候補解を探索し、自身の能力を拡張。
  • Dynamic Skill Controller: Solverの実行フィードバックを収集し、スキルライブラリを更新・拡張。
  • これらのコンポーネントが強化学習ループを通じて相互作用し、連続的な自己プレイで共進化する。
  • 「スキル」は、特定のタスクドメインにおける検証可能な実行能力をカプセル化したものとして機能し、学習の信頼性と効率を高める。
4. どうやって有効だと検証した？
  • ツール使用（tool-use）と推論（reasoning）のベンチマークで評価。
  • 結果として、Skill-SPは既存の強力な基盤モデル（backbones）の性能をさらに向上させることを示した。
  • 特に、初期段階でアラインメントが不十分なモデルに対しても、劇的な性能改善（turnarounds）をもたらすことを実証。
  • これは、Skill-SPが堅牢な進化エンジンとして機能し、LLMの能力を継続的に押し上げることを示唆している。
5. 議論はある？
  • アブストラクトからは直接的な議論点や限界は読み取れないが、一般的な自己進化手法の課題として以下が考えられる。
  • スキルの定義や粒度の最適化が難しい可能性がある。
  • スキルライブラリの無限の拡張性に対する管理コストや計算資源の要求。
  • 生成されるタスクの質や難易度が、学習の効率に大きく影響する可能性。
6. 次に読むべき論文は？
  • Self-Refine: Iterative Refinement with Self-Feedback (A. Madaan et al., 2023): 自己フィードバックによる反復改善手法。
  • Toolformer: Language Models Can Teach Themselves to Use Tools (T. Schick et al., 2023): LLMがツール使用を自己学習する手法。
  • Voyager: An Open-Ended Embodied Agent with Large Language Models (H. Wang et al., 2023): LLMを用いたオープンエンドな環境でのエージェント学習。

Abstract (原文)

LLM training is shifting from manual design and annotation to interaction-driven self-evolution. However, existing self-evolutionary methods face a fundamental dilemma between task diversity and verification reliability: environment-bound methods obtain precise feedback but confine learning to narrow domains, while open-ended self-generation broadens the task space but lacks reliable verification, allowing misleading rewards to pollute the training loop. We identify agent skills as a powerful middle ground to reconcile this tension: each skill ensures deep, verifiable execution in a specific scenario, while dynamic routing across skills maintains open-ended task variety. Leveraging this insight, we introduce Skill Self-Play (Skill-SP), a co-evolutionary framework comprising a proposer, a solver, and a dynamic skill controller. Orchestrated via a reinforcement learning loop, these components co-evolve in a continuous self-play loop: the proposer generates challenging tasks conditioned on dynamically sampled skills; the solver explores candidate solutions to push its capability boundaries; and the skill controller collects execution feedback to update and expand the skill library. This interactive co-evolution effectively bridges the gap between structured verification and open-ended exploration. Empirical evaluations on tool-use and reasoning benchmarks demonstrate that Skill-SP, serving as a robust evolution engine, consistently pushes the performance ceiling of competent backbones while catalyzing striking turnarounds for initially misaligned models. Our code is available at https://github.com/Qwen-Applications/skill-self-play.

📄 arxiv ページ 📑 PDF ⭐ GitHub (18 stars)