FreeStyle: Free Control of Style-Content Dual-Reference Gene

1. どんなもの？

スタイルとコンテンツの二重参照画像生成を行うフレームワーク「FreeStyle」を提案。
ユーザーが指定したコンテンツ画像の内容を保ちつつ、別のスタイル参照画像のスタイルを適用した画像を生成する。
コミュニティで公開されているLoRAモデルをスタイルとコンテンツの「アンカー」として活用し、大規模な学習データセットを自動生成する手法を開発。
スタイル参照からの意味的漏洩（semantic leakage）を抑制し、コンテンツ忠実度とスタイル整合性を両立させることを目指す。

2. 先行研究と比べてどこがすごい？

大規模でクリーンなスタイル-コンテンツ分離データセットの不足というボトルネックを、コミュニティLoRAをマイニングしてデータセットを自動構築することで解決した点が画期的。
スタイル参照からの意味的漏洩を効果的に抑制するための、アテンションレベルのエンリッチメント制約と周波数認識RoPE変調という2段階の新しいメカニズムを導入した。
デュアル参照生成の評価に特化した、スタイル不変のContent Alignment Score (CAS) とVLMベースのRejection Scoreを含む新しいベンチマークを提案し、より厳密な評価を可能にした。

3. 技術や手法の肝はどこ？

**LoRAマイニングとデータセット構築**: コミュニティLoRAをスタイルおよびコンテンツの構成的アンカーとして利用し、厳密な生成およびフィルタリングパイプラインを通じて、大規模なStyle-ReferenceおよびContent-Referenceトリプレットデータを自動生成する。
**2段階カリキュラム学習**: コンテンツ漏洩に対処するため、段階固有の分離メカニズムを持つ2段階の学習を採用。
**スタイル転送段階**: スタイル参照からの漏洩を抑制するため、アテンションレベルのエンリッチメント制約を適用。
**デュアル参照段階**: 位置対応に基づく漏洩に対処するため、周波数認識RoPE変調戦略を導入。
**新しい評価指標**: スタイル不変のContent Alignment Score (CAS) と、生成信頼性および漏洩抑制を評価するためのキャリブレーションされたVLMベースのRejection Score。

4. どうやって有効だと検証した？

提案したベンチマーク（スタイル参照およびデュアル参照生成）を用いて、スタイル類似性、コンテンツ保存、美学、指示追従、漏洩抑制の観点から広範な実験を行った。
特に、スタイル不変のContent Alignment Score (CAS) とVLMベースのRejection Scoreを用いて、コンテンツ忠実度と漏洩抑制のバランスを定量的に評価した。
既存の最先端モデルと比較し、スタイル整合性、コンテンツ保存、漏洩抑制において優れたバランスを達成したことを実験的に示した。

5. 議論はある？

コミュニティLoRAの品質や多様性が、自動生成されるデータセットの質や汎用性に直接影響を与える可能性がある。
提案された2段階の学習メカニズム（アテンション制約、RoPE変調）のハイパーパラメータチューニングが、生成結果に与える影響や、その最適化の難易度については詳細な議論が必要かもしれない。
特定のニッチなスタイルや複雑なコンテンツ構造に対して、どこまで汎化できるかについては、さらなる検証の余地がある。

6. 次に読むべき論文は？

**IP-Adapter**: 画像プロンプトを用いた画像生成の先行研究。
**ControlNet**: 条件付き画像生成のフレームワークで、コンテンツ制御の基礎となる技術。
**StyleGAN**: スタイル転送や画像生成におけるスタイル表現に関する研究。
**VLM (Vision-Language Model) を用いた画像評価に関する論文**: 本論文で導入されたRejection Scoreの基盤となる技術。

Abstract (原文)

Style-content dual-reference generation aims to synthesize an image that preserves the structure and semantics of a content reference while adopting the style of a separate style reference.Despite recent progress, this setting remains challenging because models must balance content fidelity, style alignment, and instruction following avoiding semantic leakage from the style reference.A key bottleneck is the lack of large-scale triplet data with clean content-style separation and broad long-tail style coverage.In this work, we propose FreeStyle, a scalable dual-reference generation framework based on community LoRA mining.We treat community LoRAs as compositional anchors for style and content, and design a rigorous generation and filtering pipeline to construct large-scale Style-Reference and Content-Reference triplets across multiple base models.To address content leakage, we adopt a two-stage curriculum with stage-specific disentanglement mechanisms: an attention-level enrichment constraint that suppresses style-reference leakage in the style-transfer stage, and a frequency-aware RoPE modulation strategy that targets positional-correspondence-based leakage in the harder dual-reference stage.We also introduce a benchmark covering both style-reference and dual-reference generation, with evaluations on style similarity, content preservation, aesthetics, instruction following, and leakage rejection. The benchmark incorporates a style-invariant Content Alignment Score (CAS) and introduces a calibrated VLM-based Rejection Score for evaluating generation reliability and leakage suppression.Extensive experiments show that our model achieves a strong balance among style alignment, content preservation, and leakage suppression.

FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining💻 コードあり

Abstract (原文)