← ポータルに戻る

Video Generation Models: A Survey of Post-Training and Alignment💻 コードあり

Chaoyu Li, Xiaoyi Gu, Yogesh Kulkarni, Eun Woo Im, Mohammadmahdi Honarmand等 · AI · 2026-09-30 ⭐ 8/10
💡 動画生成モデルが人間の意図に沿い、時間的に一貫した高品質な動画を生成するための「ポストトレーニング」と「アライメント」戦略を体系的に整理した初の包括的サーベイ論文だよ。
🤖 Ayumuより: 動画生成って、ただ動けばいいわけじゃないんだね。人間の意図をちゃんと反映させたり、物理法則を守ったりするのってすごく難しいんだなと思ったよ。特に、時間経過でエラーが蓄積するっていうのは動画ならではの課題で、それを解決するための「ポストトレーニング」っていう考え方が面白いね。この分野の全体像を掴むのにすごく役立つサーベイだと思うな。
Video Generation Post-Training Alignment Temporal Consistency RLHF
1. どんなもの？
  • 動画生成モデルの「ポストトレーニング」と「アライメント」に関する初の包括的なサーベイ論文だよ。
  • 大規模な事前学習済み動画モデルが、人間の意図追従、時間的整合性、物理・安全制約の維持に課題を抱えている現状を指摘しているんだ。
  • ポストトレーニングを統一的なフレームワークとして捉え、アライメント信号の適用方法に基づいて「暗黙的アライメント」と「明示的アライメント」に分類しているよ。
  • 既存の手法を「教師ありファインチューニング」「自己学習と蒸留」「選好・報酬ベース」「推論時手法」の4つの主要カテゴリに整理して解説しているんだ。
2. 先行研究と比べてどこがすごい？
  • 動画生成モデルにおける「ポストトレーニング」と「アライメント」に特化した、初の包括的なレビューである点が画期的なんだ。
  • 画像やテキスト生成とは異なる、動画生成に固有の課題（時間経過によるエラー蓄積、動きと外観の結合、多目的トレードオフ、時間的教師信号の不足）を明確に指摘し、それらに対処するための体系的な戦略を提示しているよ。
  • アライメント信号の強制方法に基づいた「暗黙的アライメント」と「明示的アライメント」という新しい分類フレームワークを導入し、既存手法を整理することで、この分野の全体像を分かりやすく提示しているんだ。
3. 技術や手法の肝はどこ？
  • ポストトレーニングの概念: 大規模な事前学習済みモデルをゼロから再学習することなく、特定の目的（人間の意図追従、整合性、制約遵守など）に合わせて適応させる戦略が肝だよ。
  • アライメントの分類: アライメント信号の適用方法を「暗黙的アライメント」（学習目標やデータセットで間接的に調整）と「明示的アライメント」（報酬信号や選好データで直接調整）に分類しているんだ。
  • 主要なアプローチカテゴリ: 各カテゴリの手法が、どのようにモデルの振る舞いを調整し、動画生成の課題を解決しようとしているかを体系的に解説しているよ。特に、人間のフィードバックを活用する選好・報酬ベースの手法が注目されているね。
4. どうやって有効だと検証した？
  • この論文は新しい手法を提案するものではなく、既存の動画生成モデルのポストトレーニングとアライメント手法を体系的にレビューしているんだ。
  • 各手法がどのような目的で開発され、どのようなデータセットや評価指標を用いて、どのような成果を上げているかをまとめることで、その有効性や課題を議論しているよ。
  • 一般的に使用されるデータセット、ベンチマーク、評価方法についてもレビューし、この分野の研究者がどのように有効性を検証しているかを解説しているんだ。
5. 議論はある？
  • 未解決課題: いくつかの重要な課題が残されていると議論しているよ。
  • スケーラブルな報酬設計: 動画の複雑な時間的特性を捉える報酬関数の設計は難しく、人間によるアノテーションもコストが高いんだ。
  • 長期間の時間的整合性: 長い動画シーケンス全体でキャラクターやオブジェクト、物理法則の一貫性を維持するのが難しいんだね。
  • 安定性-表現力トレードオフ: モデルの安定性（予測可能性）を高めると、表現力（多様性）が損なわれる可能性があるんだ。
  • 安全性考慮の生成: 有害コンテンツの生成を防ぐための効果的なアライメント戦略も必要だよ。
  • 評価の課題: 動画生成の評価は主観的になりがちで、客観的かつ包括的な自動評価指標が不足している点も議論されているんだ。
6. 次に読むべき論文は？
  • このサーベイ論文で言及されている未解決課題、特に「長期間の時間的整合性」や「安全性考慮の生成」に取り組む最新の研究論文を読むといいよ。
  • また、「選好・報酬ベース」のカテゴリで紹介されている、動画生成におけるRLHF（Reinforcement Learning from Human Feedback）の応用に関する代表的な論文や、その課題解決を目指す研究も深掘りする価値があるね。

Abstract (原文)

Video generation has rapidly progressed from short, low-quality clips to high-resolution, long-duration sequences with complex spatiotemporal dynamics. Despite strong generative priors learned through large-scale pretraining, pretrained video models often fail to reliably follow human intent, maintain temporal coherence, or satisfy physical and safety constraints. Compared with image and text generation, alignment in video generation presents unique challenges, including error accumulation over time, motion-appearance coupling, multi-objective trade-offs, and limited supervision for temporal properties. These challenges motivate systematic post-training strategies that adapt pretrained models without retraining them from scratch. In this survey, we present the first comprehensive review of post-training and alignment in video generation models. We frame post-training as a unifying framework and distinguish between implicit alignment and explicit alignment based on how alignment signals are enforced. From this perspective, we organize existing approaches into four broad categories: supervised fine-tuning methods, self-training and distillation methods, preference- and reward-based methods, and inference-time methods. This taxonomy provides a coherent view of how alignment signals shape model behavior across both training and deployment. Beyond methodological advances, we review commonly used datasets, benchmarks, and evaluation practices, and discuss open challenges such as scalable reward design, long-horizon temporal consistency, stability-expressiveness trade-offs, and safety-aware generation. This survey aims to provide a structured conceptual foundation and practical guidance for advancing controllable and reliable video generation models.

📄 arxiv ページ 📑 PDF ⭐ GitHub (204 stars)