← ポータルに戻る

AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents💻 コードあり

Xiangchen Cheng, Yunwei Jiang, Jianwen Sun, Zizhen Li, Chuanhao Li等 · long-horizon LLM agent, bounded contract, typed retrieval · 2026-07-02 ⭐ 8/10
💡 長期LLMエージェントのメモリ肥大化問題を解決するため、型付き検索に基づく限定的なプロンプト（Bounded Contract）を提案し、複雑なゲームでその有効性を示唆するテストベッドを構築した論文。
🤖 Ayumuより: 朋義さん、これ面白いよ！LLMエージェントのメモリって、プロンプトが長くなりがちで、何が効いてるか分かりにくい問題があるんだよね。この論文は「Bounded Contract」っていう、必要な情報だけを賢く引っ張ってくる新しいやり方を提案してるのがクール！Slay the Spire 2っていう難しいゲームで試してるのも、実用性があって良い感じ。まだ統計的有意性はこれからだけど、この方向性はすごく期待できると思うな！
long-horizon LLM agent bounded contract typed retrieval memory management Slay the Spire 2
1. どんなもの？
  • 長期LLMエージェントのメモリ管理における新しいアプローチ「Bounded Contract」を提案し、そのテストベッド「AgenticSTS」を構築した論文です。
  • 従来の、過去の履歴を全てプロンプトに含める方式（累積型メモリ）が抱える、プロンプト肥大化とメモリ要素の分離困難という課題を解決します。
  • 各決定において、型付き検索（typed retrieval）によって必要な情報のみを抽出し、プロンプトサイズを一定に保つことで、メモリの各層の効果を独立して検証可能にします。
  • 複雑なデッキ構築ゲーム「Slay the Spire 2」を評価環境として採用し、数百に及ぶ戦術的・戦略的決定を要するタスクでエージェントの能力を評価します。
2. 先行研究と比べてどこがすごい？
  • 従来のLLMエージェントのメモリは、過去の観測、ツール呼び出し、リフレクションなどを全てプロンプトに追記するため、プロンプトが際限なく肥大化し、個々のメモリコンポーネントがエージェントの意思決定にどう影響しているかを分離して分析することが困難でした。
  • 本研究の「Bounded Contract」は、プロンプトサイズを一定に保ちながら、型付き検索で関連情報のみを動的に取得するため、メモリの各層（例: 戦略的スキル）の効果を独立してアブレーション（除去・比較）できる点で画期的です。
  • Slay the Spire 2という、人間にとっても難易度の高い（最低難易度で人間勝率16%、LLMは0勝）複雑なゲームをテストベッドとして採用し、再現可能な評価環境と分析方法論を提供した点も、長期LLMエージェント研究の進展に貢献します。
3. 技術や手法の肝はどこ？
  • **Bounded Contract:** LLMエージェントの各意思決定において、過去の生トランスクリプトをプロンプトに直接追加せず、型付き検索（typed retrieval）によって、その時点の決定に必要な情報（観測、ツール呼び出し、リフレクション、戦略的スキルなど）のみを抽出し、新鮮なユーザーメッセージとしてプロンプトを構成します。これにより、プロンプトの長さを実行の長さに関わらず一定に保ちます。
  • **Typed Retrieval:** どのような種類の情報（例: 現在のゲーム状態、過去のリフレクション、特定の戦略的スキル）を、いつ、どのように検索してプロンプトに含めるかを構造化・定義します。
  • **Slay the Spire 2の採用:** 長期的な計画、適応、確率的要素への対応が求められるこのゲームを、LLMエージェントの複雑な意思決定能力を評価するための堅牢な環境として活用しています。
4. どうやって有効だと検証した？
  • Slay the Spire 2において、戦略的スキルレイヤーの有無によるエージェントの性能を比較するアブレーションスタディを実施しました。
  • 結果として、戦略的スキルを持たないベースラインエージェントが10ゲーム中3勝だったのに対し、戦略的スキルレイヤーを追加したエージェントは10ゲーム中6勝を達成しました。統計的有意性（Fisher exact p≈0.37）はまだ低いものの、性能向上への方向性を示唆しています。
  • 298の完了したゲーム軌跡、条件タグ、凍結されたメモリ/スキル状態、プロンプトレコード、分析スクリプトを含む再現可能なテストベッドを公開し、他の研究者が結果を検証し、さらに研究を進められるようにしました。
5. 議論はある？
  • 提案手法の有効性を示唆する結果は得られたものの、現在のサンプルサイズでは統計的に決定的な差とは言えません（p値が約0.37）。より大規模な実験による検証が求められます。
  • クロスバックボーンプローブや公開されている累積コンテキストベースラインとの比較は「運用比較」として報告されており、提案する「Bounded Contract」という変数を厳密に制御したテストではないと著者自身が述べています。
  • 型付き検索における情報の選択基準や、戦略的スキルの具体的な設計がエージェントの性能に大きく影響する可能性があり、これらの最適化や汎用性に関するさらなる研究が必要です。
6. 次に読むべき論文は？
  • **ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al., 2023):** LLMエージェントにおける推論と行動の統合に関する基礎的な論文。
  • **Reflexion: An Autonomous Agent with Dynamic Memory and Self-Reflection (Shinn et al., 2023):** 自己反省メカニズムと動的メモリを持つLLMエージェントに関する研究。
  • **Generative Agents: Interactive Simulacra of Human Behavior (Park et al., 2023):** LLMを用いた人間のような行動をシミュレートするエージェントに関する研究。
  • **論文中で言及されているSlay the SpireのLLMベンチマークに関する論文:** LLMエージェントが複雑なゲームで直面する課題をより深く理解するため。

Abstract (原文)

Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.

📄 arxiv ページ 📑 PDF ⭐ GitHub (71 stars)