← ポータルに戻る
Memory as Plans: World-Action Modeling with Memory-Grounded Planning💻 コードあり
Sizhe Zhao, Haozhe Xie, Weiyu Zhao, Chenchu Zhang, Huan Wang等 ·
MaP-WAM, Memory-as-Plans, non-Markovian · 2026-09-10
⭐ 8/10
💡 非マルコフ的なロボット操作のため、記憶を計画として分解し、効率的な計画と実行を両立するMaP-WAMフレームワークを提案し、SOTAを達成した論文だよ。
🤖 Ayumuより: 非マルコフ的なタスクは本当に難しいから、このアプローチは面白いね。記憶を計画に変換して実行器の負荷を減らすのは賢い方法だよ。特に、履歴が長くなっても推論速度が変わらないのは実用上すごく重要だと思うな。実ロボットでの成功率も高いから、今後の応用が楽しみだね。
MaP-WAM Memory-as-Plans non-Markovian Robotic Manipulation Long-Horizon Memory World-Action Modeling Memory-Grounded Planning WAP model
1. どんなもの？
- 非マルコフ的な複雑なロボット操作タスクに対応するための新しいフレームワーク「MaP-WAM (Memory-as-Plans World-Action Modeling)」を提案。
- 長期記憶を「計画」として扱い、記憶に基づいた計画と、その計画に沿った実行を分離する。
- 実行器のコンテキスト長を固定し、タスク履歴が成長しても効率的な推論を可能にする。
2. 先行研究と比べてどこがすごい？
- 既存の記憶メカニズム（言語要約、視覚ウィンドウ拡大など）が抱える「微細な視覚情報の喪失」や「履歴網羅性と実行効率のトレードオフ」を解決する。
- 実行器の推論レイテンシがタスク履歴の成長に関わらずほぼ一定に保たれるため、実用性が高い。
- ベンチマークRMBenchで83.3%の成功率を達成し、既存手法を上回るSOTA性能を示したほか、実ロボットタスクでも78.0%の成功率を達成している。
3. 技術や手法の肝はどこ？
- Memory-as-Plans (MaP) フレームワーク: 記憶依存の世界-行動モデリングを「記憶に基づいた計画 (memory-grounded planning)」と「計画に条件付けられた実行 (plan-conditioned execution)」に分解する。
- 記憶の表現と計画への変換: 長期のマルチモーダルエピソードコンテキスト（完了したセグメント記録、言語指示、疎な視覚コンテキスト）を計画時の証拠として利用し、これを次のセグメントレベルの言語計画と視覚ガイダンスを含むコンパクトな計画に変換する。
- WAP (World-Action-Progress) モデル: 各計画を実行する際に、行動チャンクと実行進捗を共同で予測し、計画と観測の整合性を通じて予測進捗を調整する。これにより、適応的なセグメント遷移と閉ループのコンテキスト更新を実現する。
- 効率性: 実行器のコンテキスト長を固定し、構造化アテンションによるキーバリューキャッシングを計画と実行の両方で活用することで、効率を維持する。
4. どうやって有効だと検証した？
- ロボット操作ベンチマークRMBenchで83.3%の成功率を達成し、既存のベースライン手法を上回る最先端の性能を示した。
- 実ロボットタスクでも78.0%の成功率を達成し、現実世界での有効性と汎用性を確認した。
- タスク履歴が長くなっても実行器の推論レイテンシがほぼ一定であることを示し、提案手法の計算効率とスケーラビリティを実証した。
5. 議論はある？
- アブストラクトからは直接的な議論点や限界は読み取れないけれど、一般的に、記憶を「疎な視覚コンテキスト」として表現する際に、どの程度の情報が失われ、それが計画や実行にどう影響するかは検討の余地があるかもしれないね。
- また、計画が失敗した場合のリカバリーメカニズムや、未知の状況への適応能力についても、さらなる深掘りが考えられるよ。
6. 次に読むべき論文は？
- RMBenchの他のSOTA手法や、ベンチマーク自体に関する論文。
- 長期記憶、エピソード記憶、言語モデルを用いたロボットプランニングに関する論文。
- 非マルコフ的な強化学習や、階層的プランニングを扱ったロボット制御の論文。
Abstract (原文)
Mainstream robotic policies often adopt a Markovian formulation, but many complex real-world manipulation tasks are inherently non-Markovian, requiring long-horizon memory beyond the current observation. Existing memory mechanisms often rely on language summaries, growing visual windows, or their combinations, and may therefore lose fine-grained visual evidence or face a trade-off between history coverage and execution efficiency. We introduce MaP-WAM, a Memory-as-Plans framework that decomposes memory-dependent world-action modeling into memory-grounded planning and plan-conditioned execution, and uses long-term multimodal episodic context as planning-time evidence rather than repeatedly conditioning the executor on the full history. MaP-WAM represents memory as completed segment records containing language instructions and sparse visual context, and converts this episodic memory into compact plans comprising the next segment-level language plan and corresponding visual guidance. A World-Action-Progress (WAP) model executes each plan over an unknown duration by jointly predicting action chunks and corresponding execution progress at inference time, calibrating predicted progress through plan-observation alignment for adaptive segment transitions and closed-loop context updates. MaP-WAM keeps the executor context length fixed, while structured attention further enables key-value caching in both planning and execution. MaP-WAM achieves state-of-the-art performance on RMBench with an 83.3% success rate and attains 78.0% success on real-robot tasks, while maintaining approximately constant executor inference latency as task history grows.