← ポータルに戻る

HuatuoGPT-3: RL-Only Domain Adaptation from Base Models💻 コードあり

Junying Chen, Xinyuan Xie, Ziniu Li, Wenyuan Gu, Jianquan Li等 · AI · 2026-10-05 ⭐ 9/10
💡 従来のSFT+RLの課題を克服するRL-onlyのドメイン適応手法OnePOを提案し、医療LLM「HuatuoGPT-3」で最先端の性能を達成した。
🤖 Ayumuより: この論文は、LLMのドメイン適応をRL-onlyで効率的に行う新しい手法を提案しているのが面白いね。従来のSFT+RLの複雑さや探索多様性の問題を解決しつつ、少ないデータで高い性能を出しているのはすごいよ。特に医療分野で最先端モデルを上回る成果を出しているから、実用性も高そうだね。朋義さんも、LLMの効率的なファインチューニングに興味があるなら、このOnePOの考え方は参考になると思うな。
ドメイン適応 強化学習 (RL-only) 大規模言語モデル (LLM) 医療AI One-stage Policy Optimization (OnePO) HuatuoGPT-3
1. どんなもの？
  • ドメイン適応のための新しいRL-only学習手法「One-stage Policy Optimization (OnePO)」を提案。
  • 汎用LLMを特定の専門ドメイン（特に医療）に特化させることを目的としている。
  • この手法を用いて、オープンソースの医療LLMシリーズ「HuatuoGPT-3」を開発。
  • 27BモデルはHealthBenchで最先端モデルを上回る性能を示した。
2. 先行研究と比べてどこがすごい？
  • 従来のSFT+RLパイプラインの課題を克服し、より効率的かつ高性能なドメイン適応を実現。
  • SFT+RLは探索多様性を低下させ、多段階最適化で複雑性が高いという問題があった。
  • 純粋なon-policy RLのコールドスタート問題や、混合policy RLの「Gradient Starvation」（情報量の多い低確率トークンの学習遅延）と「Teacher-Distribution Anchoring」（古い教師出力による改善阻害）という2つの失敗モードを特定し、OnePOでこれらを解決した。
  • 少ない学習サンプル数（20K）で高い性能を達成し、SFT+RLや純粋RLを大幅に上回った。
3. 技術や手法の肝はどこ？
  • One-stage Policy Optimization (OnePO) という手法が肝。
  • 教師出力を一時的なガイダンスとして利用する。
  • 2つの主要コンポーネントで構成される:
  • Adaptive Objective Evolution: 情報量の多い低確率の教師トークンに対する学習を強化する。
  • Teacher Retirement: 現在のポリシーが教師出力を上回る性能を示した場合、その教師出力を破棄し、より良いポリシーを追求する。
4. どうやって有効だと検証した？
  • 医療ドメイン適応タスクで評価を実施。
  • HealthBench (Total) および HealthBench Professional ベンチマークを使用。
  • 20Kの学習サンプルでOnePOがHealthBench (Total) 67.2を達成し、従来のSFT+RL (64.5) や純粋RL (59.8) をそれぞれ2.7点、7.4点上回ることを示した。
  • HuatuoGPT-3の27BモデルがHealthBench (Total) 70.1、HealthBench Professional 71.4を達成し、GPT-6 Astraのようなフロンティアモデルをも凌駕する性能であることを示した。
5. 議論はある？
  • アブストラクトからは直接的な議論の記述はないが、OnePOが解決した「Gradient Starvation」や「Teacher-Distribution Anchoring」は、従来の混合policy RLの課題として挙げられている。
  • OnePOにおける教師出力を「一時的なガイダンス」として扱う際の「一時的」の具体的な定義や、教師の質が学習に与える影響については、さらなる詳細な分析が論文本体で議論されている可能性がある。
  • 少ないサンプル数での高い性能は示されているが、より大規模なデータセットでのスケーラビリティや、他のドメインへの汎用性についても、今後の研究や議論の対象となりうる。
6. 次に読むべき論文は？
  • RLHF (Reinforcement Learning from Human Feedback) に関する論文。LLMのファインチューニングにおけるRLの役割を深く理解するため。
  • ドメイン適応におけるLLMの効率的な学習手法に関する論文。特に、少ないデータで高い性能を出す手法や、特定のドメインに特化させる技術について。
  • HealthBenchや医療LLMの評価に関する論文。医療ドメインにおけるLLMの性能評価の基準や課題について。
  • GPT-6 Astraに関する論文（もし公開されていれば）。比較対象となっているフロンティアモデルの技術的詳細を知るため。

Abstract (原文)

Domain adaptation aims to turn a general-purpose large language model (LLM) into an expert for a target domain. While the dominant SFT+RL pipeline offers a convenient cold start, it may reduce exploration diversity and introduces additional complexity through multi-stage optimization. These limitations motivate RL-only adaptation. However, pure on-policy RL suffers from a cold-start problem, while mixed-policy RL still falls short: informative tokens in teacher outputs are learned too slowly in early training, and stale teacher outputs can hinder later improvement. We identify these two failure modes as Gradient Starvation and Teacher-Distribution Anchoring. To address them, we propose One-stage Policy Optimization (OnePO), which treats teacher outputs as transient guidance for policy improvement. OnePO combines Adaptive Objective Evolution to strengthen learning on informative low-probability teacher tokens and Teacher Retirement to discard teacher outputs once the current policy can surpass them. On medical adaptation, OnePO achieves 67.2 on HealthBench (Total) with only 20K training samples, outperforming SFT+RL and pure RL by 2.7 and 7.4 points, respectively. We further scale OnePO to produce HuatuoGPT-3, an open-source medical LLM series whose 27B variant reaches 70.1 on HealthBench (Total) and 71.4 on HealthBench Professional, surpassing frontier models such as GPT-6 Astra. Models and code are available at https://github.com/FreedomIntelligence/HuatuoGPT-3.

📄 arxiv ページ 📑 PDF ⭐ GitHub (16 stars)