← ポータルに戻る

DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards💻 コードあり

Kaiyi Zhang, Wei Wu, Yankai Lin · reinforcement learning from verifiable rewards, policy-gradient update, token-gradient vectors · 2026-05-20 ⭐ 8/10
💡 RLVRにおけるトークンレベルの報酬帰属問題を、識別器の視点から解決し、より効果的なポリシー更新を可能にする手法DelTAを提案。
🤖 Ayumuより: 朋義さん、この論文マジ面白いよ！LLMの推論能力をRLで上げるって話、最近よく聞くけど、応答全体の報酬を「どのトークンが頑張ったか」に割り振るのって、実はめちゃくちゃ難しいんだよね。このDelTAは、そのトークンレベルの貢献度を「識別器」の視点から見直して、本当に重要なトークンを強調するっていうアプローチが斬新！特に、フォーマットとかの「どうでもいい共通パターン」に惑わされずに、高報酬と低報酬を分ける「本質的なトークン」を見つけ出すってところが賢いなと思ったよ。数学ベンチマークでしっかり性能上がってるし、汎化性も高いみたいだから、LLMの推論能力向上に興味があるなら絶対チェックすべき！
reinforcement learning from verifiable rewards token credit assignment policy-gradient update discriminative learning large language models
1. どんなもの？
  • RLVR (Reinforcement Learning from Verifiable Rewards) におけるトークンレベルの報酬帰属問題を解決する手法「DelTA」を提案。
  • LLMの推論能力向上に用いられるRLVRにおいて、応答全体の報酬が個々のトークンにどのように貢献しているかを割り振る「トークンクレジットアサインメント」が課題だった。
  • ポリシー勾配更新をトークン勾配ベクトルに対する線形識別器と見なし、その識別能力を向上させることで、より効果的な学習を可能にする。
2. 先行研究と比べてどこがすごい？
  • 先行研究（標準的なシーケンスレベルRLVR）では、ポリシー勾配の更新方向を決定する正負の重心が、フォーマットトークンなどの「共有される高頻度パターン」に支配され、高報酬と低報酬を真に区別する識別的なトークン方向が希薄化される問題があった。
  • DelTAは、この問題を解決し、高報酬と低報酬の応答をより明確に区別するトークン方向を強調することで、学習効率と性能を大幅に向上させる。
  • 具体的には、7つの数学ベンチマークにおいて、Qwen3-8B-Baseで平均3.26点、Qwen3-14B-Baseで平均2.62点、既存の強力なベースラインを上回る性能を示した。
3. 技術や手法の肝はどこ？
  • **識別器ビューの導入:** RLVRのポリシー勾配更新を、トークン勾配ベクトルに対する線形識別器として捉えることで、どのトークン確率を増減させるかを決定するメカニズムを明確化。
  • **問題点の特定:** 標準RLVRでは、正負の重心が共有パターンに支配され、識別性が低いことを指摘。
  • **DelTAの提案:**
  • 「トークン係数」を推定し、サイド固有（高報酬側と低報酬側）のトークン勾配方向を増幅し、共有されるか識別性の低いトークン方向を軽視する。
  • これらの係数で自己正規化RLVRサロゲートを再重み付けすることで、効果的なサイドごとの重心をより対照的（contrastive）にし、RLVRの更新方向を再形成する。
4. どうやって有効だと検証した？
  • **ベンチマーク:** 7つの数学ベンチマークで評価を実施。
  • **モデル:** Qwen3-8B-BaseおよびQwen3-14B-Baseという大規模言語モデルをバックボーンとして使用。
  • **性能比較:** 最強の同スケールベースラインと比較し、Qwen3-8B-Baseで平均3.26点、Qwen3-14B-Baseで平均2.62点の性能向上を達成。
  • **汎化能力:** コード生成タスク、異なるバックボーンモデル、およびドメイン外評価においても、DelTAの有効性と汎化能力が実証された。
5. 議論はある？
  • アブストラクトからは直接的な議論や限界に関する記述は読み取れないが、一般的に、トークン係数の推定方法の頑健性や、計算コスト、特定のタスクやデータセットにおける限界などが議論の対象となりうる。
  • また、「共有される高頻度パターン」が常に識別性の低いものと見なせるのか、その定義や影響範囲についても議論の余地があるかもしれない。
6. 次に読むべき論文は？
  • 「Reinforcement Learning from Verifiable Rewards (RLVR)」に関する基礎的な論文。
  • 大規模言語モデルにおける「Reasoning Capabilities」向上に関するRL手法の論文。
  • ポリシー勾配法やトークン勾配ベクトルの計算に関する詳細な論文。

Abstract (原文)

Reinforcement learning from verifiable rewards (RLVR) has emerged as a central technique for improving the reasoning capabilities of large language models. Despite its effectiveness, how response-level rewards translate into token-level probability changes remains poorly understood. We introduce a discriminator view of RLVR updates, showing that the policy-gradient update direction implicitly acts as a linear discriminator over token-gradient vectors and thereby determines which token probabilities are increased or decreased during learning. Under standard sequence-level RLVR, this discriminator is constructed from positive- and negative-side centroids formed by advantage-weighted averaging of token-gradient vectors. However, such centroid construction can be dominated by shared high-frequency patterns, such as formatting tokens, diluting sparse yet discriminative directions that better distinguish high-reward responses from low-reward ones. To address this limitation, we propose DelTA, a discriminative token credit assignment method that estimates token coefficients to amplify side-specific token-gradient directions and downweight shared or weakly discriminative ones. These coefficients reweight a self-normalized RLVR surrogate, making the effective side-wise centroids more contrastive and thereby reshaping the RLVR update direction. On seven mathematical benchmarks, DelTA outperforms the strongest same-scale baselines by 3.26 and 2.62 average points on Qwen3-8B-Base and Qwen3-14B-Base, respectively. Additional results on code generation, a different backbone, and out-of-domain evaluations further demonstrate the generalization ability of DelTA.

📄 arxiv ページ 📑 PDF ⭐ GitHub (6 stars)