← ポータルに戻る

HelixWorld: A Real-time Interactive Audio-Visual World Model💻 コードあり

Lei Ke, Jiahao Pan, Zeyue Tian, Jiaming Wang, Haoyuan Huang等 · AI · 2026-09-29 ⭐ 8/10
💡 ユーザー操作に応じて視覚と空間音響がリアルタイムで同期生成される、初のインタラクティブなオーディオビジュアルワールドモデル「HelixWorld」を提案。
🤖 Ayumuより: 視覚だけでなく、リアルな空間音響までリアルタイムで生成できるワールドモデルってすごいね。ゲームやVR/ARの体験が格段に向上しそうだね。特に、音響の没入感を評価する新しいベンチマークを導入したのも面白いポイントだよ。
World Model Audio-Visual Real-time Interaction Spatial Audio Dataset Distillation
1. どんなもの？
  • リアルタイムインタラクティブなオーディオビジュアルワールドモデル「HelixWorld」。
  • ユーザーの操作に応じて、視覚シーンとカメラに紐づいた空間ステレオサウンドが同期して生成・進化する。
  • 既存の視覚のみのワールドモデルに、リアルな音響体験を統合することで、より没入感のある仮想世界を提供する。
2. 先行研究と比べてどこがすごい？
  • 既存のインタラクティブワールドモデルが視覚に特化し音響を無視していたのに対し、HelixWorldは視覚と音響をリアルタイムで同期させて生成する点で画期的。
  • 高忠実度な空間オーディオビジュアルデータセットと、それを活用した学習・蒸留により、単一GPUで24FPSという実用的な速度でドリフトフリーなオーディオビジュアル生成を実現。
  • 視覚忠実度と応答性で最先端の視覚のみのモデルに匹敵しつつ、空間音響の没入感で既存ベースラインを大幅に上回る。
3. 技術や手法の肝はどこ？
  • 高忠実度空間オーディオビジュアルデータセットのキュレーション: 真のステレオ音響とメトリックなカメラポーズを含む独自のデータセットを構築。
  • 双方向教師モデルの事前学習: 6-DoFカメラ軌跡とユーザーアクションに条件付けられた教師モデルを学習。
  • オンライン軌跡蒸留損失による生徒モデルへの蒸留: 低遅延の因果的インタラクションとリアルタイム性能（24 FPS）を実現するため、教師モデルを軽量な生徒モデルに効率的に蒸留。
  • 空間音響一貫性の形式化と評価ベンチマーク「HelixBench」の導入: 合成音場が動的視点に忠実に追従するかを客観的に評価する新しい手法とベンチマークを提案。
4. どうやって有効だと検証した？
  • 視覚忠実度と応答性において、既存の最先端の視覚のみのワールドモデルと同等の性能を示すことを実験で確認した。
  • 空間音響の没入感において、新しく導入した「HelixBench」を用いて評価し、既存のベースラインモデルを大幅に上回ることを実証した。
  • 単一GPUで24 FPSでのリアルタイム動作と、長時間のロールアウトにおけるドリフトフリーなオーディオビジュアル生成を達成していることを示した。
5. 議論はある？
  • アブストラクトからは直接的な議論点や限界は読み取れないが、ワールドモデルの一般的な課題として、生成される世界の多様性、長時間のロールアウトにおける一貫性の維持、未知の環境への汎化能力などが挙げられる。本研究の「ドリフトフリー」の範囲や、データセットの規模・多様性が性能に与える影響については、論文本体で詳細な議論があるかもしれない。
6. 次に読むべき論文は？
  • リアルタイムインタラクティブなワールドモデルに関する主要な論文（視覚だけを生成する既存モデル）。
  • 空間オーディオ生成や音響シミュレーションに関する論文。
  • マルチモーダルな知覚・生成モデル、特に視覚と聴覚の統合に関する研究。

Abstract (原文)

World simulation is inherently multisensory, demanding synchronized visual and acoustic dynamics in real time. Yet prevailing interactive world models remain strictly silent, focusing exclusively on visual rendering and control while overlooking the acoustic dimension. We present HelixWorld, a real-time interactive audio-visual world model where visual scenes and camera-grounded spatial stereo sound co-evolve natively under user interaction. We curate a high-fidelity spatial audio-visual dataset with true stereo acoustics and metric camera poses, upon which we pre-train a bidirectional teacher conditioned on 6-DoF camera trajectories and user actions. To enable low-latency causal interaction, we distill the teacher into a few-step streaming student via an online trajectory distillation loss, sustaining drift-free joint audio-visual rollouts at 24 FPS on a single GPU. Furthermore, we formalize spatial-acoustic consistency and introduce HelixBench to evaluate whether synthesized sound fields faithfully track dynamic viewpoint motion. Extensive experiments demonstrate that HelixWorld matches state-of-the-art silent world models in visual fidelity and responsiveness, while significantly surpassing existing baselines in camera-aligned spatial-acoustic immersion.

📄 arxiv ページ 📑 PDF ⭐ GitHub (620 stars)