← ポータルに戻る

Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation💻 コードあり

Hongyu Qu, Jianzhe Gao, Xiaobin Hu, Shaohuan Yang, Xinlei Yu等 · Vision-Language-Action models, Markovian assumption, memory-augmented VLAs · 2026-07-08 ⭐ 8/10
💡 ロボット操作の長期間タスクのため、履歴経験をVLAモデルの潜在空間に直接統合する記憶ネイティブなフレームワーク「LaMem-VLA」を提案。
🤖 Ayumuより: この論文、VLAモデルに記憶を組み込むアプローチがめちゃくちゃ面白いね！特に、履歴を潜在空間で直接扱って推論に混ぜ込むって発想がスマート。ロボットが過去の経験を「思い出しながら」複雑なタスクをこなせるようになるのは、まさにAIの進化って感じ。朋義さん、長期間の計画が必要なロボットタスクに興味あるなら、これは必読だよ！
Vision-Language-Action models Latent Memory Robotic Manipulation Long-horizon tasks Memory-augmented VLAs
1. どんなもの？
  • ロボット操作のためのVision-Language-Action（VLA）モデルに、履歴経験を統合する「LaMem-VLA」というフレームワーク。
  • 従来のVLAモデルが苦手とする、長期間にわたる時間依存タスクの性能向上を目指す。
  • 履歴経験をVLAモデルのネイティブな潜在埋め込み空間に直接組み込むことで、マルチモーダル推論と行動形成に流動的に関与させる。
2. 先行研究と比べてどこがすごい？
  • 従来のVLAモデルはマルコフ仮定に基づき、現在の観測のみから行動を予測するため、長期間タスクに不向きだった。
  • 既存の記憶拡張型VLAは、記憶をVLA推論の潜在埋め込み空間の外で扱い、補助的なコンテキストとして利用するに留まっていた。
  • LaMem-VLAは、履歴経験を潜在記憶トークンとして再構築し、VLAの連続埋め込みシーケンスに直接注入することで、記憶が推論プロセスに深く統合され、より効果的に行動をガイドできる点が画期的。
3. 技術や手法の肝はどこ？
  • 履歴経験を潜在記憶トークンとして表現し、VLAの推論プロセスに直接織り交ぜる点。
  • そのための4つの協調コンポーネント：
  • **Curator:** 履歴経験を短期・長期の2つの記憶庫に整理する。
  • **Seeker:** マルチモーダル認知（現在の観測と指示）を用いて両記憶庫をクエリし、文脈に関連する証拠を検索する。
  • **Condenser:** 検索された証拠を、コンパクトな短期・長期の潜在記憶トークンに再構築する。
  • **Weaver:** これらの記憶トークンを、現在の観測と指示と共に、一つの連続した埋め込みシーケンスに注入する。
4. どうやって有効だと検証した？
  • ロボット操作タスクに特化した2つの環境、SimplerEnvとLIBEROにおいて、広範な実験を実施した。
  • これらの実験を通じて、提案するLaMem-VLAが、長期間のタスクにおいて既存のベースラインモデルよりも優れた性能を発揮することを実証した。
5. 議論はある？
  • アブストラクトからは具体的な議論は読み取れないが、「bounded context（限定されたコンテキスト）」という表現から、無限の記憶を扱うわけではなく、記憶の容量や保持期間には何らかの制約があることが示唆される。
  • 記憶の整理・検索・再構築のオーバーヘッドや、実世界でのスケーラビリティ、多様なタスクへの汎化能力などが今後の議論の対象となり得る。
6. 次に読むべき論文は？
  • SayCan, RT-1, RT-2など、主要なVision-Language-Actionモデルの基礎論文。
  • Perceiver IOやLongNetなど、長距離依存性を扱う記憶拡張型Transformerモデルに関する論文。
  • ロボット操作における長期間計画（long-horizon planning）や階層的強化学習に関する論文。

Abstract (原文)

Mainstream Vision-Language-Action (VLA) models predict actions primarily from the current observation under a Markovian assumption, thus struggling with long-horizon, temporally dependent tasks. Existing memory-augmented VLAs either expand the observation window or retrieve history from the memory bank as auxiliary policy-side context. However, they leave memory outside the native latent embedding space of VLA reasoning, preventing historical experience from being fluidly interleaved with multimodal reasoning and action formation. To this end, we introduce LaMem-VLA, a latent-memory-native framework that reconstructs historical experience into latent memory tokens and directly interweaves them with VLA reasoning. At its core, LaMem-VLA introduces four coordinated components: (i) a curator that organizes historical experience into two complementary short-term and long-term memory vaults; (ii) a seeker that queries both vaults using the multimodal cognition to retrieve context-relevant evidence; (iii) a condenser that reconstructs the retrieved evidence into compact short-term and long-term latent memory tokens; and (iv) a weaver that injects these memory tokens with the current observation and instruction into one continuous embedding sequence. By representing, retrieving, and consuming historical experience entirely in the same continuous latent space, LaMem-VLA enables memory to directly participate in VLA reasoning and guide action generation under a bounded context. Extensive experiments on SimplerEnv and LIBERO demonstrate the superiority of our LaMem-VLA.

📄 arxiv ページ 📑 PDF ⭐ GitHub (3 stars)