← ポータルに戻る

AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces💻 コードあり

Sungho Park, Wonjoong Kim, Rongyuan Tan, Jue Zhang, Wook-Shin Han等 · LLM agents, harness optimization, failure-trace diagnosis · 2026-08-24 ⭐ 8/10
💡 LLMエージェントの長期タスクにおける失敗を、実行トレースから自動診断し、ハーネスをコードとして構造的に修正・最適化するフレームワーク「AutoSaddler」を提案。
🤖 Ayumuより: LLMエージェントの信頼性向上は本当に重要だよね。AutoSaddlerは、エージェントが失敗した時にその原因を深く診断して、ハーネスを自動で修正するんだね。手動での調整が大変だったから、これはすごく助かるアプローチだと思うよ。特に、ハーネスをコードとして扱って構造的にパッチを生成するっていうのが面白いポイントかな。朋義さんも、エージェントのデバッグや最適化に興味があるなら、この論文はきっと参考になると思うよ。
LLM agents harness optimization failure-trace diagnosis offline learning structured patch generation
1. どんなもの？
  • ポイント1: LLMエージェントの信頼性を自動で向上させるフレームワーク「AutoSaddler」を提案。
  • 長期タスクで発生するエージェントの小さな失敗が全体に波及する問題を解決する。
  • ポイント2: 手動で高コストだったエージェントの「ハーネス」（プロンプト、ツール設定、制御ロジック）設計・最適化を自動化する。
  • 失敗トレース診断、構造化パッチ生成、検証ベースの更新選択を組み合わせる。
2. 先行研究と比べてどこがすごい？
  • 従来のハーネス設計は、広大な探索空間（プロンプト、ツール設定、制御ロジック）を手動で試行錯誤する必要があり、非常に時間とコストがかかっていた。
  • AutoSaddlerは、ハーネスの改善を「オフライン学習問題」として定式化し、エージェントの実行トレースから得られる失敗シグナルをミニバッチで利用して、ハーネスを反復的かつ自動的に更新する点で画期的。
3. 技術や手法の肝はどこ？
  • ポイント1: オフライン学習問題としての定式化。
  • エージェントの実行中に発生した失敗の履歴（実行トレース）から学習し、ハーネスを反復的に最適化する。
  • ポイント2: 失敗トレース診断 (failure-trace diagnosis)。
  • エージェントの失敗の原因を深く分析し、具体的な修正点を特定する。
  • ポイント3: 構造化パッチ生成 (structured patch generation)。
  • ハーネスをコードとして扱い、特定された失敗原因に対してターゲットを絞った修正（パッチ）を生成する。
  • ポイント4: 検証ベースの更新選択 (validation-based update selection)。
  • 生成された複数の修正案の中から、汎化性能を持つものを検証して選択し、ハーネスに適用する。
4. どうやって有効だと検証した？
  • 3つの異なるベンチマーク（GAIA2, SWE-Bench Pro, Terminal-Bench 2.0）で実験を行った。
  • それぞれのベースハーネスと比較して、エージェントの性能を大幅に向上させた。具体的には、GAIA2で9.0、SWE-Bench Proで9.6、Terminal-Bench 2.0で10.0パーセンテージポイントの改善を達成した。
  • アブレーション研究により、深いデバッグ、ターゲットを絞った修正、汎化を意識した選択という3つの要素が、効果的なハーネス最適化に不可欠であることを示した。
5. 議論はある？
  • アブストラクトからは直接的な議論や限界は明示されていないが、「promising path」という表現から、まだ発展途上の分野であることが示唆される。
  • 一般的に、自動最適化フレームワークでは、生成される修正の品質保証、予期せぬ副作用の可能性、計算コスト、そして特定のタスクやエージェント設定への汎化性などが今後の課題として考えられる。
6. 次に読むべき論文は？
  • LLMエージェントの信頼性、ロバストネス、自己修正に関する研究論文。
  • オフライン強化学習やオフライン学習をLLMエージェントの最適化に応用した研究。
  • LLMを用いたコード生成、デバッグ、自動パッチ生成に関する論文。

Abstract (原文)

LLM agents remain unreliable on long-horizon tasks, where small local failures can compound over extended interactions and lead to overall task failure. Although external harnesses can substantially improve robustness, harness design remains a manual and expensive process that requires searching over a large space of prompts, tool configurations, and control logic. We propose AutoSaddler, an automatic harness optimization framework that formulates harness improvement as an offline learning problem and iteratively updates the harness using failure signals from mini-batches. AutoSaddler combines failure-trace diagnosis, structured patch generation that treats the harness as code, and validation-based update selection. Experiments on GAIA2, SWE-Bench Pro, and Terminal-Bench 2.0 show that AutoSaddler substantially improves agent performance over the corresponding base harnesses, achieving gains of 9.0, 9.6, and 10.0 percentage points, respectively. Ablation studies further suggest that effective harness optimization benefits from three ingredients: deep debugging rather than shallow reflection, targeted modifications rather than unconstrained editing, and generalization-aware selection rather than trajectory-specific repair. Together, these results suggest that automatic harness optimization is a promising path toward more performant and reliable agent systems.

📄 arxiv ページ 📑 PDF ⭐ GitHub (18 stars)