← ポータルに戻る

Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition💻 コードあり

Kaisen Yang, Qingle Liu, Kejin Wang, Yicheng Zhao, Jieming Li等 · AI · 2026-10-08 ⭐ 8/10
💡 AIエージェントが固定モデルでゲーム経験からポリシーコードを自律的に修正・改善する「Adversarial Heuristic Learning (AHL)」を提案し、新しいベンチマークAAArenaでその可能性と課題を評価した論文だよ。
🤖 Ayumuより: AIエージェントが自分でコードを修正してゲーム戦略を学ぶって、すごく面白いアプローチだね。モデルの重みを固定したまま進化するっていうのが、従来の学習とは違って新鮮だよ。複雑なゲームでまだ課題があるみたいだけど、将来的に汎用的なゲームAIにつながる可能性を感じるな。朋義さんも、LLMがコードをいじる能力に注目しているなら、この研究はきっと興味深いと思うよ。
AI Agents Heuristic Learning Adversarial Games Large Language Models Game AI
1. どんなもの？
  • AIエージェントが対戦ゲームにおいて、固定されたモデル重みで「ヒューリスティック学習（HL）」を通じてゲームポリシーを自律的に改善する新しいパラダイム「Adversarial Heuristic Learning (AHL)」を提案しているよ。
  • AIエージェントを学習エンジンとして、ゲーム経験から実行可能なポリシーコードやサポートソフトウェアを直接修正・改善するんだ。
  • 実世界のゲーム競技を模倣した新しいベンチマーク「AAArena」を構築したんだ。これは12種類の本格的な対戦ゲームと1,920の人間プレイヤーのアーカイブプログラムから構成されているよ。
  • エージェントは、ゲームルールを解釈し、対戦相手を選び、リプレイを分析し、自身のゲームエージェントを修正して、与えられた予算内で最高のランキングを目指すんだ。
2. 先行研究と比べてどこがすごい？
  • 従来の強化学習やヒューリスティック探索がモデルの重みを学習するのに対し、この研究ではAIエージェントが「モデルの重みを固定したまま」実行可能なポリシーコード自体を修正・改善するアプローチを取っている点が新しいね。これは、AIエージェントを学習エンジンとして活用する考え方だよ。
  • 「AAArena」という、多様な本格的対戦ゲームと大量の人間プログラムを含む、実世界に近い競技環境をシミュレートしたベンチマークを構築したことで、より現実的なAIエージェントの能力評価が可能になったんだ。
  • 複雑なゲームルールをAIエージェント自身が解釈し、戦略を立て、コードを修正するという、より高レベルな自律学習能力を評価している点が特徴的だよ。
3. 技術や手法の肝はどこ？
  • Adversarial Heuristic Learning (AHL): 大規模言語モデル（LLM）のようなAIエージェントを学習エンジンとして利用し、ゲームの経験（リプレイ分析など）に基づいて、ゲームポリシーを記述したコードや関連ソフトウェアを直接修正・改善するんだ。モデルの重みは学習しないよ。
  • AAArenaベンチマーク: 12の異なる対戦ゲームと1,920のアーカイブされた人間プレイヤーのプログラムで構成されているよ。エージェントは限られたマッチ数と評価予算内で、ルール解釈、対戦相手選択、リプレイ分析、ポリシー修正を繰り返すんだ。
  • 学習メカニズム: 自身の試合（オンポリシー）と他のプレイヤーの試合（オフポリシー）のリプレイの両方から学習するよ。対戦相手の選択と密なフィードバック（例えば、なぜ負けたか、どう改善すべきか）がポリシー改善に重要だとされているね。
4. どうやって有効だと検証した？
  • AAArenaベンチマーク上で、Opus5.5 with Claude Codeを含む複数のモデル構成を評価したよ。
  • Opus5.5 with Claude Codeは、12ゲーム中6ゲームで人間プレイヤーのラダー（ランキング）で金メダル（トップ）を獲得したんだ。これは、AIエージェントが特定のゲームで人間レベルのパフォーマンスを達成できることを示しているね。
  • しかし、残りの6ゲームではトップに立てず、特にルール仕様が複雑なゲームではパフォーマンスが低下する傾向が見られたよ。
  • 追加実験として、対戦相手の選択戦略やフィードバックの密度がポリシー改善に与える影響を分析し、これらが学習に寄与することを確認したんだ。オンポリシーとオフポリシーの両方のリプレイからエージェントが学習できることも示したよ。
5. 議論はある？
  • AIエージェントは一部のゲームで高いパフォーマンスを示したものの、特にルールが複雑なゲームでは人間プレイヤーのトップレベルには及ばなかったんだ。これは、ゲーム理解、戦略実装、長期的なポリシー開発における課題がまだ残っていることを示唆しているね。
  • モデルの重みを固定したままコードを修正するというアプローチは、従来の強化学習とは異なる学習のボトルネックを持つ可能性があるよ。例えば、コード生成能力やデバッグ能力の限界などだね。
  • AAArenaベンチマークは実世界の競技を模倣しているけど、その複雑さや多様性がAIエージェントの汎用的な学習能力をどこまで測れているか、さらなる議論が必要かもしれないね。
6. 次に読むべき論文は？
  • 大規模言語モデル（LLM）を用いたコード生成や自己修正に関する論文（例: AlphaCode、SWE-benchなど）。
  • 強化学習における探索と利用、特に限られたサンプルからの学習に関する論文。
  • ゲームAIにおける戦略学習、特に複雑なルールを持つゲームや不完全情報ゲームに関する研究。
  • AIエージェントの自律性やマルチエージェントシステムに関する研究。

Abstract (原文)

Adversarial games have driven advances from heuristic search to reinforcement learning, yet learning and adapting strategies from limited samples remain challenging. AI agents offer an alternative by turning game experience into revisions of executable policies. Building on heuristic learning (HL), we formalize Adversarial Heuristic Learning (AHL), a paradigm that uses AI agents as learning engines to refine game policies and supporting software while keeping model weights fixed. We introduce AAArena, a benchmark comprising 12 authentic adversarial games and 1,920 archived human programs, with an evaluation protocol modeled on real-world game competitions. Agents interpret rules, choose opponents, analyze replays, and revise game agents to achieve their highest ranking within fixed match and evaluation budgets. We evaluate completedmodels model and harness configurations: Opus5.5 with Claude Code earns 6 gold medals, while no evaluated configuration tops the remaining 6 human ladders. Performance is generally weaker in games with more complex rule specifications. Further experiments show that opponent selection and dense feedback support policy improvement, and that agents learn from both on-policy replays of their own matches and off-policy replays of other players' matches. These results highlight HL's potential in adversarial games and identify persistent challenges in game understanding, strategy implementation, and long-horizon policy development.

📄 arxiv ページ 📑 PDF ⭐ GitHub (36 stars)