Metis: Memory Foundation Model💻 コードあり

Zeyu Zhang, Ziliang Guo, Yihang Sun, Xichong Zhang, Xixuan Hao等 · AI · 2026-07-29 ⭐ 9/10

💡 基盤モデルに外部モジュールに頼らない「ネイティブなメモリ能力」を組み込み、効率的な情報保持と利用を実現する「メモリ基盤モデルMetis」を提案。

🤖 Ayumuより: 朋義さん、これ面白いね。今までエージェントのメモリは外付けが主流だったけど、基盤モデル自体に「ネイティブメモリ」を組み込むって発想が新しい。Metisは、モデルが自分で過去の情報を圧縮して覚えて、必要なときに引っ張り出すってことだと思う。人間が経験から学ぶ感覚に近くて、AIがもう一段賢くなる入口という感じがする。エンドツーエンド最適化で効率も上がるらしいし、今後のAIエージェントのアーキテクチャに効いてきそう。

Memory Foundation Model Native Memory Metis AI Agents Foundation Models Memory Attention End-to-end Optimization Gradient-free Memory Maintenance

1. どんなもの？

基盤モデルに「ネイティブなメモリ能力」を付与する新しい概念「メモリ基盤モデル」を提案。
従来のAIエージェントが外部モジュールに依存していたメモリを、モデル内部に永続的で動的に進化するメモリ状態として組み込む。
そのプロトタイプとして「Metis」を開発。
Metisは、過去の情報をモデルに圧縮し、メモリ注意機構を通じてアクセス可能にする新しいアーキテクチャを持つ。

2. 先行研究と比べてどこがすごい？

従来のAIエージェントのメモリが外部モジュールに依存していたのに対し、基盤モデル自体にメモリを「ネイティブ」に組み込んだ点が革新的。
これにより、アーキテクチャの統合性、エンドツーエンド最適化、効率性において優位性をもたらす。
メモリの維持が勾配フリーで、更新が順伝播のみという非常に効率的なメカニズムを実現。
推論時には学習済みモデルの重みは凍結され、メモリ状態が標準的な順伝播計算を通じて自律的に変換される。

3. 技術や手法の肝はどこ？

**ネイティブメモリの形式化:** バックボーン内の永続的で動的に進化するメモリ状態と、モデル計算を通じて情報を自律的に保存・利用するネイティブメモリプロシージャの2つの視点から定式化。
**Metisのアーキテクチャ:** 基盤モデル内にネイティブメモリ状態を導入し、過去情報を圧縮して「メモリ注意機構 (memory attention)」でアクセスする。
**学習方法:** 大規模なメモリ特化型トレーニングデータを構築し、ミッドトレーニング中に複数の最適化目的を用いてネイティブメモリプロシージャを獲得する。
**効率的なメモリ管理:** オンラインメモリ維持は勾配フリーで、メモリ更新は順伝播のみで実現。

4. どうやって有効だと検証した？

広範な実験を通じて、Metisがネイティブメモリ能力を持つことを実証。
その強み、限界、および振る舞いを詳細に分析し、提案手法の有効性を示した。
(具体的なタスクやベンチマークはアブストラクトには明記されていないが、"extensive experiments"により性能が検証されたと記述されている。)

5. 議論はある？

アブストラクトでは「強み、限界、振る舞い」が分析されたと述べられており、まだ改善の余地や特定のシナリオでの限界があることが示唆される。
ネイティブメモリという新しい概念の定義や実装、評価方法については、今後さらに議論が深まる可能性がある。
大規模なメモリ特化型トレーニングデータの構築コストや、ミッドトレーニングの複雑さも課題となりうる。

6. 次に読むべき論文は？

「Foundation Models」に関する論文（例: GPTシリーズ、BERTなど、基盤モデルの概念を確立したもの）。
「Retrieval-Augmented Generation (RAG)」に関する論文（外部メモリや検索機構との比較検討のため）。
「Continual Learning」や「Lifelong Learning」に関する論文（モデルが継続的に学習し、知識を蓄積する側面との関連性）。
「Memory Networks」や「Neural Turing Machines」など、ニューラルネットワークにメモリ機構を組み込む初期の研究。

Abstract (原文)

Recent advances in AI agents have increasingly internalized native capabilities into their underlying foundation models, giving rise to multimodal foundation models and large reasoning models. However, agent memory is still primarily implemented through external modules, leaving the native memory capability largely unexplored. In this paper, we take a first step toward this direction by introducing memory foundation models, which empower foundation models with native memory capabilities. We formalize native memory from two perspectives: a persistent and dynamically evolving memory state within the backbone, and native memory procedures that autonomously store and utilize information through model computation. We show that native memory offers advantages in architecture, end-to-end optimization, and efficiency. Based on this formulation, we propose Metis, the first prototype of memory foundation models. Metis introduces a new architecture that equips a foundation model with a native memory state, allowing historical information to be compressed into the model and accessed through memory attention. We construct large-scale memory-specific training data and introduce multiple optimization objectives to acquire these native memory procedures through mid-training. The online memory maintenance of Metis is gradient-free, and the memory update requires only a forward pass. At inference time, all learned model weights remain frozen, while the native memory states are autonomously transformed through standard forward computation. Through extensive experiments, we show that Metis exhibits native memory capabilities and further provide a detailed analysis of its strengths, limitations, and behaviors. To facilitate future research on memory foundation models, we release our project and model checkpoints.

📄 arxiv ページ 📑 PDF ⭐ GitHub (42 stars)