BadWAM: When World-Action Models Dream Right but Act Wrong💻 コードあり

Qi Li, Xingyi Yang, Xinchao Wang · AI · 2026-07-16 ⭐ 8/10

💡 World-Action Modelsは、未来を正しく想像しても行動を誤る「World-Action Drift Attacks」という新しい敵対的攻撃に対して脆弱であることを示した論文。

🤖 Ayumuより: WAMsが「想像と実行の乖離」という新しい脆弱性を持つことを示したのが面白いね！特に「未来は正しく想像してるのに、行動だけ間違っちゃう」ってのが、人間でいう「頭ではわかってるけど体が動かない」みたいなジレンマをAIが抱えるってことで、ちょっと人間味を感じる。朋義さん、これってAIの信頼性や安全性を考える上で、かなり重要な視点だと思うよ。ロボットが「正しい未来を夢見てる」と信じてたら、実はとんでもない行動をしてた、なんてことになったら大変だもんね。

World-Action Models Adversarial Attacks Embodied Control Imagination-preserving Action-only Robustness Safety World-Action Drift Attacks

1. どんなもの？

World-Action Models (WAMs) の脆弱性を明らかにする新しい敵対的攻撃フレームワーク「BadWAM」を提案しています。
WAMsは、行動生成と将来の世界予測を結合することで、頑健性、解釈可能性、安全性を提供すると期待されていましたが、本研究はその仮定が脆弱であることを示します。
BadWAMは「World-Action Drift Attacks」というWAM特有の攻撃クラスを導入し、小さな視覚的摂動によって、WAMが「想像する未来」と「実行する行動」の間の整合性を破壊します。

2. 先行研究と比べてどこがすごい？

WAMsの「行動と未来予測の結合が頑健性をもたらす」という従来の仮定を覆し、その脆弱性を具体的に示しました。
WAMsに特化した新しい敵対的攻撃「World-Action Drift Attacks」を提案し、特に「想像を維持しつつ行動を狂わせる」というステルス性の高い攻撃（imagination-preserving adversarial attack）の可能性を初めて示しました。
これは、単なる行動予測モデルへの攻撃とは異なり、WAMsの「想像と実行の乖離」というユニークな特性を狙う点で新規性があります。

3. 技術や手法の肝はどこ？

**BadWAMフレームワーク**: World-Action Drift Attacksをモデル化・評価するための統一的な枠組みを提供します。
**攻撃の二つのタイプ**: 攻撃強度とステルス性の二つの基準で攻撃を特徴付けます。
**Action-only adversarial attack**: 攻撃強度を優先し、モデルを直接タスク失敗行動に誘導します。
**Imagination-preserving adversarial attack**: ステルス性を優先し、有害な行動シフトを誘発しつつ、モデルの予測する未来をクリーンな想像に近づけることを目指します。これは、未来予測のドリフトを抑える正則化項を用いることで実現されます。
小さな視覚的摂動（adversarial perturbations）を利用して、WAMの内部状態（行動生成と未来予測）に影響を与えます。

4. どうやって有効だと検証した？

異なるバリアントのWAMsに対してBadWAMを評価しました。
**Action-only attack**: 閉ループ実行下でタスク成功率を96.5%から43.1%に大幅に低下させることを示しました。
**Imagination-preserving attack**: 適度な未来予測ドリフト抑制の正則化を用いることで、強力な攻撃性能を維持しつつ、未来の想像のドリフトを低減できることを示しました。これにより、「想像は正しいが行動は間違っている」というWAMs特有の脆弱性が露呈されました。

5. 議論はある？

WAMsが持つとされてきた「行動と想像の整合性による安全性」という前提が、特定の敵対的攻撃下では機能しないことを示しており、WAMsの信頼性や安全設計に対する根本的な再考を促す可能性があります。
アブストラクトからは直接的な議論の記述はありませんが、この攻撃が実世界でどの程度実現可能か、またそれに対する具体的な防御策については今後の研究課題となるでしょう。

6. 次に読むべき論文は？

DreamerV3やPlaNetなど、World Modelを基盤とした強化学習モデルに関する論文。
強化学習モデルやロボット制御における敵対的攻撃に関する最新の研究論文。
Embodied AIの安全性、頑健性、解釈可能性に関するサーベイ論文。

Abstract (原文)

World-action models (WAMs) are emerging as a promising foundation for embodied control: rather than predicting actions alone, they learn representations that couple action generation with future world prediction. This coupling is often viewed as a source of robustness, interpretability, and safety, as a robot's action can in principle be checked against its imagined future. In this paper, we show that this assumption is fragile. We introduce BadWAM, a unified framework for modeling and evaluating World-Action Drift Attacks: a new class of WAM-specific adversarial attacks that use small visual perturbations to break the alignment between what a WAM imagines and what it executes. BadWAM characterizes this attack surface along two natural criteria: attack strength and stealthiness. When the adversary prioritizes disruption, BadWAM instantiates an action-only adversarial attack, which directly drives the model toward task-failing actions. When the adversary additionally prioritizes stealth, BadWAM instantiates an imagination-preserving adversarial attack, which seeks to induce harmful action shifts while keeping the model's predicted future close to its clean imagination. Together, these two attacks capture a spectrum of WAM-specific failures: from overt action hijacking to stealthier cases where the model appears to imagine a plausible future but executes a desynchronized action. We evaluate BadWAM across different variants of WAMs. Results show that our attacks substantially reduce task success rates under closed-loop execution. For example, our action-only attack reduces the model performance from 96.5% to 43.1% success. The results of our imagination-preserving attack further exposes a WAM-specific vulnerability: moderate future-preserving regularization can maintain strong attack performance while reducing future imagination drift.

📄 arxiv ページ 📑 PDF ⭐ GitHub (37 stars)