← ポータルに戻る

ClawGym: A Scalable Framework for Building Effective Claw Agents💻 コードあり

Fei Bai, Huatong Song, Shuang Sun, Daixuan Cheng, Yike Yang等 · Claw-style environments, multi-step workflows, scalable development · 2026-04-29 ⭐ 8/10
💡 Claw-styleパーソナルエージェントの全開発ライフサイクルを支援するため、大規模な合成データセット、訓練済みモデル、信頼性の高い評価ベンチマークを含むスケーラブルなフレームワーク「ClawGym」を提案。
🤖 Ayumuより: Claw-styleエージェントって、まさに「AIがPCを操作してタスクをこなす」って感じだよね！このClawGymは、その開発をめちゃくちゃ効率化してくれるフレームワークみたい。特に、ペルソナ駆動でタスクを自動生成するClawGym-SynDataが面白い！リアルなシナリオでエージェントを鍛えられるのはすごいよ。朋義さん、こういう「AIが現実世界（PC内だけど）で活躍する」系の研究、好きでしょ？ぜひチェックしてみて！
Claw-style environments multi-step workflows scalable development personal agents synthetic data supervised fine-tuning reinforcement learning evaluation benchmark
1. どんなもの？
  • Claw-styleパーソナルエージェント開発のための包括的でスケーラブルなフレームワーク「ClawGym」を提案。
  • ローカルファイル、ツール、永続的なワークスペース状態を扱う多段階ワークフローをサポートするエージェントの訓練、評価、開発の全ライフサイクルを支援します。
  • 主要な3つのコンポーネントから構成されます。
  • **ClawGym-SynData**: ペルソナ駆動の意図とスキルに基づき、リアルなモックワークスペースとハイブリッド検証メカニズムを伴う13.5Kのフィルタリング済みタスクからなる多様な合成データセット。
  • **ClawGym-Agents**: ClawGym-SynDataのブラックボックスロールアウト軌跡で教師ありファインチューニングされ、強化学習も探求された有能なClaw-styleモデル群。
  • **ClawGym-Bench**: 自動フィルタリングと人間-LLMレビューによって調整された200インスタンスからなる信頼性の高い評価ベンチマーク。
2. 先行研究と比べてどこがすごい？
  • 先行研究では、Claw-style環境におけるスケーラブルな開発が、体系的なフレームワーク、特に検証可能な訓練データの合成とエージェント訓練・診断評価への統合の欠如により制約されていました。
  • ClawGymは、この課題を解決し、Claw-styleエージェントの全開発ライフサイクルをサポートする初の体系的かつスケーラブルなフレームワークを提供します。
  • 特に、ペルソナ駆動の意図とスキルに基づいた大規模な合成データセット（ClawGym-SynData）と、現実的なモックワークスペース、ハイブリッド検証メカニズムを組み合わせることで、高品質な訓練データを効率的に生成できる点が画期的です。
3. 技術や手法の肝はどこ？
  • **大規模な合成データ生成と検証**: ペルソナ駆動の意図とスキルに基づき、現実的なモックワークスペースと組み合わせた13.5Kのタスクを合成。自動化された検証と人間-LLMレビューを組み合わせたハイブリッド検証メカニズムでデータの品質と多様性を保証します。
  • **多段階エージェント訓練パイプライン**: 合成データセットのブラックボックスロールアウト軌跡を用いた教師ありファインチューニングにより、初期の有能なモデルを構築します。さらに、タスクごとのサンドボックスでロールアウトを並列化する軽量なパイプラインを通じて強化学習を導入し、エージェントの性能を向上させます。
  • **信頼性の高い評価ベンチマーク構築**: 自動フィルタリングと人間-LLMレビューを組み合わせることで、バイアスが少なく、エージェントの真の能力を測れる200インスタンスのベンチマーク（ClawGym-Bench）を構築します。
4. どうやって有効だと検証した？
  • ClawGym-SynDataを用いて訓練されたClawGym-Agentsが「有能な」Claw-styleモデルとして機能することを示しました。
  • ClawGym-Benchという、自動フィルタリングと人間-LLMレビューによって調整された信頼性の高いベンチマークを構築し、エージェントの性能を客観的に評価できることを示しました。
  • （アブストラクトからは具体的な性能数値や比較結果は読み取れませんが、フレームワークの各コンポーネントが構築され、それらを用いてモデルの訓練と評価が可能になったこと自体が、その有効性を示しています。）
5. 議論はある？
  • アブストラクトからは直接的な議論や限界は明記されていません。
  • 一般的な議論としては、合成データセットの現実世界とのギャップ（sim-to-real gap）が挙げられる可能性があります。合成データがどれだけ現実の多様なシナリオを網羅しているか、また、エージェントが現実の環境でどれだけ汎化できるかは、今後の課題となり得ます。
  • 強化学習の「軽量パイプライン」という表現から、計算コストを抑えていることが伺えますが、その軽量さが性能に与える影響や、より複雑なRL手法との比較については、詳細な分析が必要かもしれません。
6. 次に読むべき論文は？
  • **Claw-style environmentsの具体的な定義や既存の環境に関する論文**: 本論文の基盤となる「Claw-style environments」がどのようなものか、より深く理解するために参照すべきです。
  • **LLMエージェントやパーソナルエージェントのフレームワークに関する論文**: AutoGPTやBabyAGIなど、LLMを基盤とした自律エージェントのフレームワークや、それらのスケーラブルな開発手法に関する研究。
  • **合成データ生成、特にLLMを用いたタスク生成や検証に関する論文**: ClawGym-SynDataのアプローチをさらに深掘りするために、LLMを活用したデータ合成技術や、その検証メカニズムに関する最新の研究。
  • **多段階タスク実行エージェントの強化学習に関する論文**: 本論文で探求されている強化学習部分について、より詳細なアルゴリズムや応用例を学ぶために参照すべきです。

Abstract (原文)

Claw-style environments support multi-step workflows over local files, tools, and persistent workspace states. However, scalable development around these environments remains constrained by the absence of a systematic framework, especially one for synthesizing verifiable training data and integrating it with agent training and diagnostic evaluation. To address this challenge, we present ClawGym, a scalable framework that supports the full lifecycle of Claw-style personal agent development. Concretely, we construct ClawGym-SynData, a diverse dataset of 13.5K filtered tasks synthesized from persona-driven intents and skill-grounded operations, paired with realistic mock workspaces and hybrid verification mechanisms. We then train a family of capable Claw-style models, termed ClawGym-Agents, through supervised fine-tuning on black-box rollout trajectories, and further explore reinforcement learning via a lightweight pipeline that parallelizes rollouts across per-task sandboxes.To support reliable evaluation, we further construct ClawGym-Bench, a benchmark of 200 instances calibrated through automated filtering and human-LLM review. Relevant resources will be soon released at https://github.com/ClawGym.

📄 arxiv ページ 📑 PDF