← ポータルに戻る

LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models💻 コードあり

Cheng-De Fan, Chun-Wei Tuan Mu, Chen-Wei Chang, Chin-Yang Lin, Kun-Ru Wu等 · video diffusion priors, event-based video reconstruction, frame interpolation · 2026-07-09 ⭐ 8/10
💡 イベントストリームから動画拡散モデルを使って高精細な動画を再構築・予測・補間し、長期安定性と双方向一貫性を実現したSOTA手法。
🤖 Ayumuより: イベントカメラと動画拡散モデルの組み合わせ、めっちゃ面白いね！従来のぼやけや時間的なズレを解決してるってのがすごい。特に長期シーケンスでの安定性とか、フレーム補間の双方向一貫性とか、細かいところまでしっかり考えてて、実用性高そう。朋義さん、これ物理シミュレーションの可視化とかにも応用できないかな？
video diffusion models event-based vision video reconstruction video prediction frame interpolation temporal coherence
1. どんなもの？
  • イベントストリームから高品質な動画を再構築、予測、フレーム補間する新しい手法「LongE2V」を提案。
  • 従来の回帰手法が抱えるテクスチャのぼやけや、既存の生成モデルが抱える長期的な安定性の問題を克服することを目指す。
  • 事前学習済みの動画拡散モデル（video diffusion priors）を活用し、ファインチューニングすることで、高いデータ効率と優れた知覚品質を実現する。
2. 先行研究と比べてどこがすごい？
  • 従来の回帰手法がテクスチャをぼやけさせるのに対し、LongE2Vは高精細な動画を生成できる。
  • 既存の生成モデルが長尺シーケンスで時間的ドリフトを起こしやすいのに対し、「Autoregressive Unrolling」と「Adaptive Context Switching」を導入することで、極めて長いシーケンスでも時間的安定性を維持する。
  • フレーム補間において、「Reencoding Alignment with Cross Residual Correction」により、高精度な双方向の一貫性を保証する。
  • 「Event Voxel Density Augmentation」により、様々なセンサー解像度に対するモデルのロバスト性を向上させている。
  • 3つのタスク（再構築、予測、補間）全てにおいて最先端（SOTA）の性能を達成し、優れた時間的コヒーレンスとゼロショット汎化能力を示す。
3. 技術や手法の肝はどこ？
  • **事前学習済み動画拡散モデルの活用**: 基盤となる動画モデルをファインチューニングすることで、少ないデータで高い知覚品質の動画生成を可能にする。
  • **Autoregressive UnrollingとAdaptive Context Switching**: 長尺のイベントストリームから動画を生成する際に発生する時間的ドリフトを効果的に抑制し、長期的な一貫性を保つ。
  • **Reencoding Alignment with Cross Residual Correction**: フレーム補間タスクにおいて、生成されるフレームが前後のコンテキストと高精度に整合し、双方向での一貫性を確保する。
  • **Event Voxel Density Augmentation**: イベントセンサーの特性上、イベント密度が変動する状況でもモデルが安定して機能するよう、データ拡張を行う。
4. どうやって有効だと検証した？
  • 実世界のベンチマークデータセットを用いて広範な実験を実施した。
  • イベントベースの動画再構築、予測、フレーム補間の3つの主要タスク全てにおいて、既存の最先端（SOTA）手法を上回る性能を実証した。
  • 特に、生成された動画の優れた時間的コヒーレンス（時間的な一貫性）と、未知のデータに対するゼロショット汎化能力を示した。
5. 議論はある？
  • アブストラクトからは直接的な議論や限界は読み取れないが、一般的に拡散モデルは推論に計算コストと時間がかかる傾向があるため、リアルタイム性や大規模な実世界応用における効率性が今後の課題となり得る。
  • 「Long-Horizon」の具体的な長さの定義や、その限界、またイベントカメラ特有のノイズや様々な環境光条件に対するロバスト性の詳細な評価が、論文本文でどのように議論されているか興味深い。
6. 次に読むべき論文は？
  • この論文がファインチューニングの基盤とした「foundational video model」に関する論文。
  • イベントベースの動画処理における、他の最先端の再構築、予測、フレーム補間手法に関する論文。
  • Autoregressive UnrollingやAdaptive Context Switchingといった、長期シーケンス処理における時間的ドリフト対策に関する論文。

Abstract (原文)

Recovering high-quality video from sparse event streams is a challenging task. Regression methods often blur textures, while existing generative models struggle with long-term stability. We propose LongE2V, a novel approach that leverages pre-trained video diffusion priors to jointly handle event-based video reconstruction, prediction, and frame interpolation. By fine-tuning a foundational video model, our approach achieves high data efficiency and superior perceptual quality. We introduce Autoregressive Unrolling and Adaptive Context Switching to mitigate temporal drift in extremely long sequences. We also propose Reencoding Alignment with Cross Residual Correction to ensure precise bidirectional consistency during frame interpolation. Furthermore, Event Voxel Density Augmentation ensures robustness across varying sensor resolutions. Extensive experiments on real-world benchmarks demonstrate that LongE2V outperforms state-of-the-art methods across all three tasks, exhibiting exceptional temporal coherence and zero-shot generalization. Project page: https://cdfan0627.github.io/LongE2V-page/

📄 arxiv ページ 📑 PDF ⭐ GitHub (22 stars)