← ポータルに戻る

Lens: Rethinking Training Efficiency for Foundational Text-to-Image Models💻 コードあり

Dong Chen, Fangyun Wei, Ziyu Wan, Dongdong Chen, Jiawei Zhang等 · T2I model, VAE, language encoder · 2026-05-20 ⭐ 8/10
💡 Lensは、高密度キャプションを用いたデータ設計と効率的な学習戦略によって、比較的小さなモデル規模で高性能と高速生成を両立したText-to-Imageモデル。
🤖 Ayumuより: 目を引くのは、モデルを大きくするよりも、1バッチあたりの情報密度と収束の速さを詰めている点です。高密度キャプション、多解像度バッチ、セマンティックVAEをまとめて効かせる設計なので、T2Iの学習効率を考えるときの比較対象としてかなり見やすい論文です。
T2I model Training Efficiency GPT-4.1 Semantic VAE Multilingual Generalization Reinforcement Learning
1. どんなもの？
  • Lensは、3.8BパラメータのコンパクトなText-to-Image (T2I) モデルです。
  • 6B以上のパラメータを持つ最先端モデルと同等、またはそれ以上の性能を、大幅に少ない訓練計算量（Z-Imageの約19.3%）で達成します。
  • 効率的な訓練と体系的な最適化により、1:2から2:1のアスペクト比、最大1440^2の解像度まで汎化し、多言語プロンプトをサポートします。
  • 高速な画像生成が可能で、1024^2の画像をNVIDIA H100 GPUで3.15秒、蒸留されたターボバージョンでは4ステップ生成を0.84秒で実行します。
2. 先行研究と比べてどこがすごい？
  • 訓練効率が高い点です。3.8Bパラメータという比較的コンパクトなサイズで、6B超の最先端モデルに匹敵、あるいは上回る性能を、Z-Imageの約19.3%の訓練計算量で狙っています。
  • 高密度データセットを使います。GPT-4.1で生成した平均109語のキャプションを付けた8億件の画像テキスト対「Lens-800M」により、短いキャプションより豊かな意味情報を学習に使います。
  • バッチ構成も効率重視です。複数解像度と多様なアスペクト比を同じ学習バッチに混ぜることで、各最適化ステップで扱える視覚条件の幅を広げています。
  • アーキテクチャ面では、セマンティックVAEと強力な言語エンコーダを組み合わせ、収束を速めながら多言語プロンプトへの汎化も確保しています。
  • 事前学習後には、Lens-RL-8Kによる強化学習、reasonerモジュール、蒸留ベースの高速化を重ね、画質改善と推論高速化を進めています。
3. 技術や手法の肝はどこ？
  • 基盤は3.8Bパラメータの比較的小さなモデル設計です。サイズを抑えつつ、訓練効率を最大化する構成を取っています。
  • 肝のひとつは、学習データの情報密度を上げることです。Lens-800Mでは、GPT-4.1が生成した平均109語の詳細なキャプションを使い、画像1枚あたりから取れる意味情報を増やしています。
  • もうひとつは、マルチ解像度・マルチアスペクト比バッチです。1回の更新で多様な視覚条件を扱えるため、データ利用効率を高めやすくなります。
  • 収束速度の改善では、セマンティックVAEがより意味的な潜在表現を担い、強力な言語エンコーダがプロンプト理解と最適化を支えます。
  • 後訓練では、Lens-RL-8Kによる強化学習でアーティファクト抑制と画質向上を狙い、reasonerモジュールで要求との整合性を高め、最後に蒸留で4ステップ推論まで高速化しています。
4. どうやって有効だと検証した？
  • 複数ベンチマークで、6B超の最先端モデルと同等以上の性能を示したと報告しています。
  • Z-Imageと比べて、約19.3%の訓練計算量で競争力のある性能に到達したことを数値で示しています。
  • 1:2から2:1までのアスペクト比、最大1440^2の解像度、多言語プロンプトへの対応を通じて、汎化性能を確認しています。
  • 推論速度については、1024^2画像を単一H100で3.15秒、蒸留版では0.84秒としています。
5. 議論はある？
  • 気になる論点としては、まずGPT-4.1生成キャプションの質と偏りがあります。キャプションの文体や内容の偏りが、モデルの表現や汎化に影響する可能性があります。
  • RL訓練の報酬設計も重要です。タクソノミー駆動型プロンプトや構造化ルーブリックが、どの品質指標をどこまで押し上げるのかは詳しく見たいところです。
  • 多言語汎化についても、英語データ中心の学習でどの程度まで言語差や文化差を拾えるのか、限界の確認が必要です。
  • アブストラクトだけでは、比較ベンチマーク名や詳細な数値が十分ではないため、本文での評価条件を追う必要があります。
6. 次に読むべき論文は？
  • Z-Image。比較対象として何を前提にしているのかを押さえると、Lensの効率性を評価しやすくなります。
  • GPT-4.1関連資料。キャプション生成品質や、学習データに持ち込まれる偏りを考える手がかりになります。
  • Semantic VAEの関連研究。潜在表現の質と収束速度の改善をどう結びつけているかを追えます。
  • T2Iモデルにおける強化学習やアラインメントの研究。Lens-RL-8Kやreasonerモジュールの背景理解に役立ちます。
  • 多言語対応T2Iモデルの研究。英語中心学習からの多言語汎化が、どこまで一般化できるかを比較できます。

Abstract (原文)

We introduce Lens, a 3.8B-parameter T2I model that achieves performance competitive with, and in several cases surpassing, state-of-the-art models with more than 6B parameters across various benchmarks, while requiring significantly less training compute. For example, Lens requires only about 19.3% of the training compute used by Z-Image. The training efficiency of Lens stems from two key strategies beyond its compact model size. First, we maximize data information density per training batch by (i) training on Lens-800M, a dataset of 800M densely captioned image-text pairs whose captions are generated by GPT-4.1 and contain approximately 109 words on average, providing richer semantic supervision than conventional short captions, and (ii) constructing each batch from images with multiple resolutions and diverse aspect ratios, thereby enlarging the effective visual coverage of each optimization step. Second, we improve convergence speed through careful architectural choices, including adopting a semantic VAE that provides better latent representations and employing a strong language encoder that accelerates optimization while enabling multilingual generalization from English-only training data. After pre-training, we apply RL with taxonomy-driven prompts (Lens-RL-8K) and structured reward rubrics to suppress artifacts and improve visual quality, a reasoner module with training-free system prompt search to better align user requests with the model, and distillation-based acceleration for 4-step inference. Through efficient training and systematic optimization, Lens generalizes to arbitrary aspect ratios from 1:2 to 2:1 and resolutions up to 1440^2, and supports prompts in several commonly used languages. Thanks to its compact size, Lens generates a 1024^2 image in 3.15 seconds on a single NVIDIA H100 GPU, while its distilled turbo version performs 4-step generation in 0.84 seconds.

📄 arxiv ページ 📑 PDF ⭐ GitHub (113 stars)