← 記事一覧に戻る
概要
2024-2025年にかけて、360度パノラマ画像から3D Gaussian Splatting（3DGS）を生成する技術が大きく進展した。
従来の3Dスキャンやフォトグラメトリと比べ、単一画像からリアルタイムでレンダリング可能な3D空間を生成できるようになった。
この技術が解決する課題
- 360°カメラで撮影した1枚の画像から没入型3D空間を生成
- VR/ARアプリケーション向けのコンテンツ制作を劇的に効率化
- 既存の360°写真アーカイブを3D化して再活用
主要技術の比較
| 手法 |
入力 |
特徴 |
解像度 |
| PanSplat |
単一360°画像 |
フィードフォワード、フィボナッチ格子配置 |
4K対応 |
| PanoDreamer |
単一通常画像 |
段階的最適化、複数視点整合 |
- |
| DreamScene360 |
テキスト |
拡散モデル→パノラマ→3DGS |
- |
| Splatter-360 |
複数360°画像 |
球面コスト体積、二重投影 |
CVPR 2025 |
PanSplat - 4K VR対応の最前線
PanSplat: 4K Panorama Synthesis with Feed-Forward Gaussian Splatting
PanSplatはVRアプリケーションに必要な4K（2048×4096）解像度を実現するフィードフォワード方式のフレームワーク。
キー技術
- フィボナッチ格子配置: 球面上に3D Gaussiansを均一に分布させ、極付近の冗長性を大幅削減
- 球面ピラミッド: パノラマ形式に特化した3D Gaussian階層構造
- フィードフォワード: 学習済みモデルで高速推論が可能
PanoDreamer - 通常画像から360°シーンへ
PanoDreamer: 3D Panorama Synthesis from a Single Image
PanoDreamerは通常の（非パノラマ）画像1枚から360°3Dシーンを生成する驚異的な手法。
処理フロー
- 単一入力画像からシーンを推測
- 3DGS表現を段階的に最適化
- 複合画像を参照としてコンテキスト整合性を維持
- 複数視点間での一貫性を確保
見えていない部分を「想像」して補完するAIの能力が活きている。
DreamScene360 - テキストから360°世界を生成
DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting
テキストプロンプトだけで完全な360°3Dシーンを生成。
処理フロー
- テキストプロンプトを入力
- 拡散モデルで360°パノラマ画像を生成
- 自己精製プロセスで最適な2D候補を選択
- 3D幾何学フィールドでPanoramic 3D Gaussiansを初期化
- セマンティック・幾何学対応でギャップを充填
プロジェクトページ →
EgoX - 客観動画→主観VR動画変換
番外編として、視点変換に関連する革新的な技術を紹介。
EgoX: Egocentric Video Generation from a Single Exocentric Video
三人称（客観/exocentric）動画から一人称（主観/egocentric）動画を生成する技術。
開発元
DAVIAN Robotics (KAIST AI, SNU) - 2024年12月公開
キー技術
- 軽量LoRA適応: 大規模ビデオ拡散モデル（Wan2.1-I2V-14B）を効率的にファインチューニング
- 統一条件付け戦略: exocentricとegocentricのプライヤを幅・チャンネル方向で結合
- 幾何学ガイド付きセルフアテンション: 極端なカメラポーズ変動にも対応
GitHub →
応用シナリオ
VR/ARコンテンツ制作
360°カメラで撮影した場所を即座に探索可能な3D空間に変換。不動産のバーチャルツアー、観光地の没入型体験に活用できる。
アーカイブの3D化
既存の360°写真コレクションを3D化して再価値化。旅行写真、歴史的建造物の記録などをインタラクティブに。
ロボティクス
EgoXのような視点変換技術を使って、ロボットが人間の一人称視点での行動を学習・模倣。
まとめ
2025年の360°→3DGS技術
- PanSplat: 4K VR対応、フィボナッチ格子で効率的な球面3DGS
- PanoDreamer: 通常画像1枚から360°シーン生成
- DreamScene360: テキスト→360°3D一発生成
- EgoX: 客観動画→主観動画変換でVR体験を革新
これらの技術により、3Dコンテンツ制作の民主化が加速している。
参考リンク
← 記事一覧に戻る