← ポータルに戻る

Mental World Modeling💻 コードあり

Hao Fei, Yiran Zhao · AI · 2026-07-29 ⭐ 8/10
💡 物理的な世界だけでなく、人間の隠れた精神状態を統合的にモデル化することで、より正確な人間行動予測を目指す新しい世界モデルフレームワーク「Mental World Modeling (MWM)」を提案した論文だよ。
🤖 Ayumuより: 人間の行動予測に、物理情報だけでなく精神状態をモデル化する発想が面白いね。LLMベースで複雑な心の動きを捉える試みは、AIの認知的な側面を探る上で重要だよ。朋義さんもきっと興味を持つと思うな。
Mental World Modeling Theory of Mind LLM Human Decision Prediction Coupled Physical-Mental State
1. どんなもの?
  • ポイント1: Mental World Modeling (MWM) という新しい理論的フレームワークを提案しているよ。
  • 詳細: 物理的な世界の状態だけでなく、人間の行動を駆動する「隠れた精神状態」(信念、欲求、意図、感情、社会的許容性)を世界モデルの核心要素として統合するんだ。
  • ポイント2: MENTISというトレーニング不要で完全に検査可能なベースラインを実装しているよ。
  • 詳細: 状態解析、ターゲット観測生成、アクション分解、物理的・精神的状態の結合遷移、ブランチレベルの価値評価というプロセスに分解して精神状態をモデル化するんだ。
2. 先行研究と比べてどこがすごい?
  • ポイント1: 既存の世界モデルが物理的な側面(何がどこにあり、どう変化するか)に限定されていたのに対し、MWMは精神状態(人が何を信じ、何を欲し、何を意図し、どう感じ、何を社会的に許容できると考えるか)をモデルの核に据えている点だよ。
  • ポイント2: 精神状態を事後的な合理化ではなく、物理的状態と結合された世界状態の主要コンポーネントとして扱うことで、より正確な人間行動予測を目指しているんだ。
3. 技術や手法の肝はどこ?
  • ポイント1: 物理的状態と精神的状態を結合した「結合物理-精神世界状態」を維持する点だよ。
  • ポイント2: ターゲット固有の部分的観測を生成し、候補アクションが物理的・精神的両方のコンポーネントをどのように更新するかをシミュレートするんだ。
  • ポイント3: MENTISでは、このプロセスを状態解析、ターゲット観測生成、アクション分解、結合された物理的・精神的遷移、ブランチレベルの価値評価という明確なステップに分解しているよ。
4. どうやって有効だと検証した?
  • ポイント1: 手動で構築された、テキスト、画像、音声-ビデオストーリーにまたがる意思決定シナリオのデータセットを使用しているよ。
  • ポイント2: 8つの現代的なLLMベースの世界モデルと比較実験を実施したんだ。
  • ポイント3: 実験結果は、精神状態を明示的にモデル化することが人間の意思決定予測に不可欠であることを示しているよ。
5. 議論はある?
  • ポイント1: 現在の精神世界モデリングにはボトルネックがあることが、深い分析によって明らかになったと述べられているね。具体的な内容は不明だけど、改善の余地があることを示唆しているよ。
  • ポイント2: MWMが「次世代の世界モデリング」と位置づけられていることから、まだ発展途上の分野であり、課題や未解決の問題が存在すると考えられるよ。
6. 次に読むべき論文は?
  • Theory of Mind in AIに関する論文: 人工知能が他者の心を理解する能力について深掘りするのに役立つよ。
  • LLM-based planning and reasoningに関する論文: 大規模言語モデルを用いた推論や計画の最新動向を把握できると思うな。

Abstract (原文)

World models enable a predictive substrate for planning and action, yet existing formulations merely answer a physical question: what/where it is, and how will it evolve. Human behavior, however, is driven by hidden mental state (what a person believes, wants, intends, feels, and considers socially permissible), so a model that tracks the physical scene but not what each agent knows and believes about it predicts the wrong action for the right-looking scene. We formulate Mental World Modeling (MWM), a generic theoretical framework that makes mental variables core components of a world model rather than posthoc rationales: MWM aintains a coupled physical-mental world state, renders a target-specific partial observation, and simulates how candidate actions jointly update both components. We instantiate the framework in MENTIS, a training-free and fully inspectable baseline that decomposes the process into state parsing, target-observation generation, action decomposition, coupled physical and mental transition, and branch-level value evaluation. On a manually constructed, quality-controlled dataset of situated decision scenarios spanning text, image, and sounding-video stories, experiments with 8 modern LLM-based world models demonstrate that explicitly modeling the mental state is essential for predicting human decisions. Deeper analyses further expose the bottlenecks of current mental world modeling. We expect MWM as a next stage of world modeling, from simulating physical scenes to simulating the minds that act in them.