← ポータルに戻る

LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories💻 コードあり

Baochang Ren, Xinjie Liu, Xi Chen, Yanshuo Liu, Chenxi Li等 · Vision-Language-Action models, robotic execution, laboratory workflows · 2026-06-11 ⭐ 8/10
💡 科学実験室の複雑なプロトコルをロボットが実行できるよう、シミュレーションベースのデータ生成と2段階学習VLAモデル「LabVLA」を提案し、高い成功率を達成した。
🤖 Ayumuより: 朋義さん、これは面白いね。科学実験室のロボット化には夢がある。VLAモデルを家庭用じゃなくて、もっと精密な実験室向けに特化させているのがすごい。特に、シミュレーションでデータを作って、それを2段階学習で鍛えるっていうアプローチが賢い。将来、ロボットが自分で実験してくれるようになるかもね。
Vision-Language-Action models robotic execution laboratory workflows RoboGenesis LabVLA simulation flow matching
1. どんなもの？
  • 科学実験室でのロボットによるプロトコル実行を可能にするVision-Language-Action (VLA) モデル「LabVLA」を提案。
  • 既存のVLAモデルが苦手とする実験室特有の機器、透明液体、固定プロトコルといった複雑な環境に対応することを目的としている。
  • 実験室環境に特化したデータ生成のためのシミュレーションベースのワークフロー＆データエンジン「RoboGenesis」も開発。
2. 先行研究と比べてどこがすごい？
  • 既存のVLAモデルが主に家庭や卓上環境でのデモンストレーションに特化しており、科学実験室の精密な操作や特殊な環境（透明液体の取り扱い、特定の分析機器の使用など）には対応できていなかった点を克服。
  • データ不足と多様なロボットエンボディメントへの対応という主要なボトルネックに対し、RoboGenesisによるシミュレーションデータ生成と、LabVLAの2段階学習レシピという包括的なアプローチで解決を図っている。
3. 技術や手法の肝はどこ？
  • **データ生成エンジン「RoboGenesis」**:
  • シミュレーションベースで、原子スキルから複雑な実験室ワークフローを構成し、ロールアウトを検証・フィルタリングして、多様なロボットプロファイルに対応した構造化デモデータを生成する。
  • **LabVLAの2段階学習レシピ**:
  • **FAST action token pretraining**: Qwen3-VL-4B-Instructバックボーンに対し、連続制御学習の前にアクション認識を可能にする事前学習を行う。
  • **flow matching posttraining**: 知識絶縁（knowledge insulation）の下でDiT（Diffusion Transformer）ベースのアクションエキスパートを接続し、精密な連続制御を学習させる。
4. どうやって有効だと検証した？
  • 「LabUtopia」という実験室環境に特化したベンチマークを使用して評価を実施。
  • LabVLAは、in-distribution（学習データと類似）およびout-of-distribution（学習データと異なる）の両方の設定において、評価された全てのベースラインモデルの中で最高の平均成功率を達成した。
  • これにより、実験室環境におけるLabVLAの優れた汎用性と頑健性が実証された。
5. 議論はある？
  • アブストラクトからは直接的な議論の記述はないが、シミュレーションで生成されたデータが実世界の複雑さや不確実性をどれだけ忠実に再現できるか（Sim-to-Real gap）は常に課題となる。
  • 多様なロボットエンボディメントへの対応を謳っているものの、その汎用性の具体的な限界や、新しいロボットシステムへの適応コストについてはさらなる検証が必要となる可能性がある。
  • 複雑なエラーリカバリーや予期せぬ事態への対応能力、および実験の安全性や倫理的側面も重要な議論点となる。
6. 次に読むべき論文は？
  • 「LabUtopia」ベンチマークの詳細を解説した論文（もしあれば）。
  • Qwen3-VL-4B-Instructの基盤モデルに関する論文。
  • Diffusion Transformer (DiT) の元の論文、およびflow matchingに関する研究。
  • Sim-to-Real転移技術や、科学実験室でのロボット自動化に関する最新のVLAモデル研究。

Abstract (原文)

Scientific laboratories increasingly rely on AI systems to reason about experiments, but the physical act of doing science remains largely outside their reach. AI can help read literature, generate hypotheses, and plan protocols, yet the execution of those protocols at the bench still requires a human operator. Vision-Language-Action (VLA) models provide one possible interface between written protocols and robot execution, but existing policies are trained mostly on household and tabletop demonstrations and rarely encounter the instruments, transparent liquids, or fixed protocol workflows found in scientific laboratories. Closing this gap requires both laboratory-specific supervision and a unified learning framework that can accommodate the diverse robot embodiments used to execute experimental protocols. We therefore identify data and embodiment as central bottlenecks alongside model design. To address the data side, we build RoboGenesis, a simulation-based workflow and data engine that composes configured laboratory workflows from atomic skills, validates and filters rollouts, and exports structured demonstrations across supported robot profiles. On the policy side, we present LabVLA, trained with a two-stage recipe: FAST action token pretraining first makes the Qwen3-VL-4B-Instruct backbone action aware before any continuous control is learned, and flow matching posttraining then attaches a DiT action expert under knowledge insulation. On the LabUtopia benchmark, LabVLA achieves the highest average success rate among all evaluated baselines under both in-distribution and out-of-distribution settings.

📄 arxiv ページ 📑 PDF ⭐ GitHub (47 stars)