← ポータルに戻る

GameWAM: A World Action Model for Video Games💻 コードあり

Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Weijia Li · World-Action Models, flow matching, block-causal conditioning · 2026-08-25 ⭐ 8/10
💡 ビデオゲームにおいて、視覚予測とキーボード・マウス操作を同時に生成する初のWorld-Action Model「GameWAM」を提案し、効率的なゲームプレイとGUI制御を実現した論文だよ。
🤖 Ayumuより: この論文は、ゲームAIがただアクションを出すだけでなく、未来の視覚も予測しながら動くWAMをゲームに適用したのがすごいね。特に、キーボードとマウス操作を同時に生成したり、ゲームとGUIモードを切り替えたりする工夫が面白いよ。LASIの発見は、生成モデルの制御における意外な落とし穴を示していて、今後の研究課題としても興味深いな。朋義さんも、生成モデルの繊細さに驚くかもしれないね。
World-Action Models flow matching block-causal conditioning video games game AI generative control block-cycle control LASI
1. どんなもの？
  • ビデオゲーム向けの初のWorld-Action Model (WAM) である「GameWAM」を提案しているよ。
  • プレイヤーの視覚的な未来の観測と、実行可能なキーボード・マウス操作の軌道を同時に生成するんだ。
  • ネイティブな閉ループゲームプレイとGUI制御の両方に対応しているのが特徴だね。
2. 先行研究と比べてどこがすごい？
  • 既存のゲームエージェントは、世界ダイナミクスを明示的にモデル化しないか、タスクポリシーとして機能しないことが多かったんだ。
  • GameWAMは、ビデオゲームの複雑なダイナミクスとオープンエンドなインタラクション下で、視覚予測とアクション生成を統一した初のWAMだよ。
  • 異種（ゲームプレイ/GUI）制御を統合し、長期的インタラクションに対応する独自の制御戦略を持っているんだ。
  • 比較エージェントよりも少ないネイティブアクションで、競争力のあるタスク成功率を達成しているよ。
3. 技術や手法の肝はどこ？
  • 並行生成: 視覚とアクションの生成プロセスを並行して実行するんだ。
  • ブロック因果条件付けとフローマッチング: これらを用いて、視覚とアクションの共同学習を実現しているよ。
  • モード予測とモード固有アクション生成: 各アクションステップでゲームプレイ/GUIモードを予測し、それぞれのモードに合わせた予測分布と連続アクション正規化でアクションを生成するんだ。
  • ブロックサイクル制御: 長期的なインタラクションのために、コミットされた予測範囲を超えて計画し、短いアクションを実行後に新しい観測から再計画する仕組みだよ。
  • 時間的連続性: きめ細かいサイクル内コンテキストと階層的なサイクル間履歴で、時間的な連続性を保っているんだ。
4. どうやって有効だと検証した？
  • 実際のビデオゲーム環境で、タスク成功率と実行されたネイティブアクション数を評価したんだ。
  • その結果、比較対象のエージェントよりも少ないアクションで、競争力のあるタスク成功を達成したことを示しているよ。
  • さらに、Low-Frequency Action Source Imprinting (LASI) という、生成制御におけるソース感度失敗モードを発見し、その現象を分析しているんだ。
5. 議論はある？
  • LASIの発見は、生成モデルを用いた制御における潜在的な問題点（ソース感度）を指摘していて、今後の研究で対処すべき重要な課題だね。
  • 長期的インタラクションにおけるブロックサイクル制御の有効性は示されたけど、その限界や最適化の余地はまだ議論の対象になりそうだね。
  • 異種制御の統合は強力だけど、より複雑なゲームや、多様な入力（音声、ジョイスティックなど）への拡張性については、今後の課題として考えられるよ。
6. 次に読むべき論文は？
  • World-Action Models (WAMs) の基礎研究や、ロボット工学など他のドメインでのWAMsの応用に関する論文かな。
  • フローマッチングやブロック因果条件付けを用いた生成モデルの最新研究も面白いだろうね。
  • ゲームAIにおける長期的プランニングや階層的制御に関する論文も、この研究の文脈で役立つと思うよ。
  • 生成モデルの頑健性や、LASIのような失敗モードに関する研究も深掘りする価値があるね。

Abstract (原文)

Modern video games combine first-person perception, rapid visual changes, persistent world state, and heterogeneous native controls. Existing game agents map visual and task context directly to actions but lack explicit world dynamics modeling, whereas interactive game world models predict visual futures from supplied actions but do not serve as task policies. World-Action Models (WAMs) unify these objectives, but remain largely unexplored under the dynamics and open-ended interaction of video games. We introduce GameWAM, to our knowledge the first WAM for native closed-loop gameplay and GUI control. GameWAM jointly generates future visual observations and executable keyboard-mouse trajectories through parallel visual and action generative processes with block-causal conditioning and flow matching. To support joint world-action learning, we construct synchronized gameplay and GUI trajectories. To handle heterogeneous native control, GameWAM predicts a gameplay/GUI mode at each action step and generates actions with mode-specific prediction distributions and continuous-action normalization. For long-horizon interaction, block-cycle control predicts beyond the committed horizon, executes only a short action prefix, and replans from new observations, while fine-grained within-cycle context and hierarchical cross-cycle history preserve temporal continuity. Experiments demonstrate competitive task success with fewer executed native actions than the compared agents. We further uncover Low-Frequency Action Source Imprinting (LASI), in which low-frequency components of the sampled action source systematically steer coarse generated camera motion under fixed conditioning, revealing a source-sensitivity failure mode in generative control. Project page is available at https://yunncheng.github.io/GameWAM/.

📄 arxiv ページ 📑 PDF ⭐ GitHub (26 stars)