← ポータルに戻る
π-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows💻 コードあり
Haoran Zhang, Luxin Xu, Zhilin Wang, Runquan Gui, Shunkai Zhang等 ·
personal assistant agents, large language models, proactive assistance · 2026-05-19
⭐ 8/10
💡 ユーザーの隠れた意図や長期的なニーズを先読みして支援するLLMベースの個人アシスタントエージェントの能力を評価するための新しいベンチマーク「π-Bench」を提案し、プロアクティブ支援の難しさを明らかにした論文。
🤖 Ayumuより: 朋義さん、この論文、LLMアシスタントの未来を考える上で超重要だよ！ユーザーが「これやって」って言わなくても「もしかしてこれ必要？」って先回りしてくれるアシスタント、夢だよね。π-Benchは、その「先読み能力」をちゃんと評価しようってベンチマーク。実験結果で「まだ難しい」って言ってるのが正直で面白い。特に、過去のやり取りが後で効いてくるってのは、人間関係みたいで深掘りしたくなるポイントだね！
personal assistant agents large language models proactive assistance benchmarks long-horizon workflows hidden intents
1. どんなもの？
- プロアクティブな個人アシスタントエージェントの評価ベンチマーク「π-Bench」
- LLMベースのアシスタントが、ユーザーの明示されていないニーズ（隠れた意図）をどれだけ先読みし、対応できるかを評価する新しいベンチマーク。
- 長期的なワークフローと複雑なシナリオに対応
- 100のマルチターンタスク、5つのドメイン固有ユーザーペルソナを含む。隠れたユーザー意図、タスク間の依存関係、セッションをまたいだ継続性を組み込み、現実世界の「長期的軌道」でのプロアクティブな支援能力を測定。
2. 先行研究と比べてどこがすごい？
- 既存ベンチマークのギャップを埋める
- 従来のベンチマークでは、ユーザーが明示的に述べる前の「隠れた意図」をエージェントが特定し、行動できるかを評価するものが少なかった。特に、ユーザーのニーズが徐々に明らかになる持続的なマルチターンインタラクションにおいては不足していた点を解消。
- プロアクティビティとタスク完了を同時に測定
- 単純なタスク完了だけでなく、ユーザーの潜在的なニーズを先読みして対応する「プロアクティビティ」という側面を明確に定義し、両方を統合的に評価する。
3. 技術や手法の肝はどこ？
- ベンチマーク設計の工夫
- 「隠れたユーザー意図」「タスク間依存関係」「セッションをまたいだ継続性」という3つの要素を組み合わせることで、より現実的で複雑なシナリオを再現。これにより、エージェントの長期的なプロアクティブ能力を評価可能にする。
- 5つのドメイン固有ユーザーペルソナ
- 多様なユーザーのニーズや行動パターンをシミュレートし、ベンチマークの汎用性と堅牢性を高める。
4. どうやって有効だと検証した？
- 実験結果による課題の明確化
- 提案されたπ-Benchを用いて実験を行った結果、以下の3点が明らかになった。
- 現実世界に近い評価環境の提供
- 長期的なワークフローにおけるエージェントの性能を測ることで、現実世界でのアシスタントの有用性をより正確に評価できることを示唆。
5. 議論はある？
- プロアクティブ支援の難しさ
- 実験結果が示すように、現在のLLMベースのエージェントにとって、ユーザーの隠れた意図を正確に推測し、先回りして行動することは大きな課題であり、モデルの推論能力やユーザーモデル化の限界を示唆している可能性がある。
- 評価指標の重要性
- プロアクティビティを評価する指標の導入は重要だが、その定義や測定方法、例えば「過剰なプロアクティビティ」がユーザーにとって煩わしいと感じられる可能性など、さらなる議論の余地がある。
6. 次に読むべき論文は？
- プロアクティブエージェントの具体的な実装やアーキテクチャに関する論文
- ユーザーモデリング、意図推論、プランニング、または長期記憶メカニズムに焦点を当てた研究。
- LLMにおける常識推論や世界知識の獲得に関する論文
- ユーザーの隠れた意図を理解するには、単なる言語理解を超えた深い推論能力が必要となるため。
Abstract (原文)
The rise of personal assistant agents, e.g., OpenClaw, highlights the growing potential of large language models to support users across everyday life and work. A core challenge in these settings is proactive assistance, since users often begin with underspecified requests and leave important needs, constraints, or preferences unstated. However, existing benchmarks rarely evaluate whether agents can identify and act on such hidden intents before they are explicitly stated, especially in sustained multi-turn interactions where user needs emerge gradually. To address this gap, we introduce π-Bench, a benchmark for proactive assistance comprising 100 multi-turn tasks across 5 domain-specific user personas. By incorporating hidden user intents, inter-task dependencies, and cross-session continuity, π-Bench evaluates agents' ability to anticipate and address user needs over extended interactions, jointly measuring proactivity and task completion in long-horizon trajectories that better reflect real-world use. Experiments show (1) proactive assistance remains challenging, (2) a clear distinction between task completion and proactivity, and (3) the value of prior interaction for proactive intent resolution in later tasks.