One-Step Text Generation by Seq-Drifting

1. どんなもの？

ポイント1: 拡散言語モデル（DLM）の課題解決
DLMはトークンを並行生成するが、高品質なテキストには複数サンプリングステップが必要という課題がある。
ポイント2: 単一ステップでのテキスト生成フレームワーク「Seq-Drifting」の提案
連続的なトークン表現のシーケンスに「ドリフト」を適用し、ガウスノイズからテキストへのマッピングを直接学習する。
推論時には、全てのトークンを単一のフォワードパスで同時に生成する。

2. 先行研究と比べてどこがすごい？

ポイント1: 生成ステップ数の大幅な削減
既存のDLMが複数ステップを要するのに対し、Seq-Driftingはテキスト全体を単一のフォワードパスで生成できる。
ポイント2: 文脈適応型のドリフトフィールド
既存DLMが訓練シーケンスの観測トークンから直接教師信号を得るのに対し、Seq-Driftingは生成中の文脈に適応するドリフトフィールドを構築する。
このドリフトフィールドは、文脈的に妥当なトークン表現への「引力」と、サンプル間の崩壊やシーケンス内の繰り返しを防ぐ「斥力」を組み合わせる。

3. 技術や手法の肝はどこ？

ポイント1: ドリフトフィールドの構築
各トークン位置において、現在の生成文脈に基づいて動的にターゲットを設定する。
「引力 (attraction)」: 各出力を、文脈的に最もらしいトークン表現の集合に引き寄せる。
「斥力 (repulsion)」: 異なるサンプル間での出力の多様性を保ち、かつ同一シーケンス内でのトークンの繰り返しを防ぐ。
ポイント2: ジェネレーターの学習と推論
ジェネレーターは、この動的に構築されるドリフトフィールドから学習する。
推論時には、学習済みのジェネレーターがガウスノイズを入力として受け取り、単一パスで全てのトークンを同時に出力する。

4. どうやって有効だと検証した？

ポイント1: 生成パープレキシティによる性能評価
LM1Bデータセットにおいて、単一ステップで36.01の生成パープレキシティを達成した。
ポイント2: 幅広い生成タスクでの競争力
無条件生成および条件付き生成の両方で、競争力のある性能を示した。
ポイント3: 応用範囲の検証
翻訳、要約、推論といったオープンエンド生成以外のタスクでもフレームワークの適用可能性を実証した。

5. 議論はある？

アブストラクトからは直接的な議論点は読み取れないが、一般的に単一ステップ生成は、多ステップ生成モデルと比較して生成品質（特に複雑な文脈や長文において）のトレードオフが生じる可能性がある。パープレキシティ36.01が、既存の最先端多ステップDLMと比較してどの程度の品質水準にあるのか、詳細な比較分析が論文本体で示されているか注目される。また、複雑な推論タスクでの「適用可能性」が、どの程度の精度や信頼性を意味するのかも議論の余地がある。

6. 次に読むべき論文は？

Diffusion Language Models (DLMs) の基礎に関する論文（例: GLIDE, DALL-E 2などのテキスト生成への応用）。
高速な非自己回帰型テキスト生成モデルに関する論文。
生成モデルにおけるAttraction-Repulsionメカニズムや多様性維持手法に関する論文。

Abstract (原文)

Diffusion language models generate tokens in parallel, but still require multiple sampling steps to produce high-quality text. In this paper, we investigate whether a model can learn to generate an entire sequence in a single forward pass. We propose Seq-Drifting, a framework that applies drifting to sequences of continuous token representations and directly learns a map from Gaussian noise to text. Unlike existing DLMs that derive the supervision at each position directly from the observed token in a training sequence, Seq-Drifting builds a drift field whose position-wise targets adapt to the current generated context. At each position, attraction guides each output toward a set of contextually plausible token representations, while repulsion discourages collapse across samples and repetition within sequences. The generator learns from this drift field during training and produces all tokens jointly in one pass at inference. Empirically, Seq-Drifting achieves a generative perplexity of 36.01 on LM1B in one step and performs competitively in both unconditional and conditional generation. Experiments on translation, summarization, and reasoning further demonstrate the applicability of the framework beyond open-ended generation. These results suggest that drifting over token sequences offers a promising path toward effective one-step text generation. Our code is available at https://github.com/jyliu-ai/Seq-Drifting.

One-Step Text Generation by Seq-Drifting💻 コードあり

Abstract (原文)