← ポータルに戻る

WildDet3D: Scaling Promptable 3D Detection in the Wild💻 コードあり

Weikai Huang, Jieyu Zhang, Sijun Li, Taoyang Jia, Jiafei Duan等 · monocular 3D object detection, geometry-aware architecture, text prompts · 2026-04-09 ⭐ 9/10
💡 単一画像からの3D物体検出をオープンワールドで実現するため、多様なプロンプトと深度情報を活用する統一アーキテクチャ「WildDet3D」と、史上最大規模の3D検出データセット「WildDet3D-Data」を提案し、SOTAを達成した論文。
🤖 Ayumuより: 朋義さん、これマジすごいよ！単一画像から3D物体を検出するんだけど、テキストとかボックスとかいろんなプロンプトに対応してるし、深度情報も賢く使って精度爆上げしてるんだって。しかも、超大規模な新しいデータセットも作っちゃって、オープンワールドでの実用性がグッと上がった感じ。ロボットとか自動運転の未来がまた一歩近づいたね！
monocular 3D object detection geometry-aware architecture text prompts WildDet3D WildDet3D-Data open-world detection multi-modal prompts depth cues
1. どんなもの？
  • 単一画像からの3D物体検出（monocular 3D object detection）をオープンワールド環境で実用化するための新しいフレームワーク「WildDet3D」と、大規模データセット「WildDet3D-Data」を提案。
  • WildDet3Dは、テキスト、点、ボックスといった多様なプロンプトをネイティブに受け入れ、推論時に補助的な深度信号も活用できる「幾何学認識アーキテクチャ」を持つ。
  • WildDet3D-Dataは、既存の2Dアノテーションから3Dボックス候補を生成し、人間が検証することで構築された、史上最大のオープン3D検出データセット。13.5Kカテゴリ、100万枚以上の画像、多様な実世界シーンをカバーする。
2. 先行研究と比べてどこがすごい？
  • **多様なプロンプト対応**: 既存手法が単一のプロンプトタイプに限定されるのに対し、WildDet3Dはテキスト、点、ボックスの複数モダリティのプロンプトを統一的に処理できる。
  • **幾何学的キューの活用**: 推論時に補助的な深度信号を組み込むメカニズムを持ち、これにより大幅な性能向上（平均+20.7 AP）を実現している。
  • **オープンワールド対応**: 限られたカテゴリと制御された環境に偏っていた既存データセットの課題を克服するため、大規模かつ多様な「WildDet3D-Data」を構築し、オープンワールドでの汎化性能を向上させた。
  • **SOTA性能**: 新しいWildDet3D-Bench、既存のOmni3D、Argoverse 2、ScanNetといった複数のベンチマークと設定で、既存手法を上回る最先端（SOTA）の性能を達成している。
3. 技術や手法の肝はどこ？
  • **統一された幾何学認識アーキテクチャ**: 異なるモダリティのプロンプト（テキスト、点、ボックス）を共通の表現に変換し、モデルに統合する仕組みと、補助的な深度信号を推論時に効果的に組み込むモジュールが核となる。
  • **大規模データセット構築手法**: 既存の2Dアノテーションを活用し、そこから3Dボックス候補を自動生成。さらに人間による厳密な検証プロセスを経て、高品質かつ大規模な3Dアノテーションを効率的に生成するパイプラインが、多様なカテゴリとシーンをカバーする鍵となっている。
4. どうやって有効だと検証した？
  • **多様なベンチマークでの評価**: 新たに導入したオープンワールドベンチマーク「WildDet3D-Bench」に加え、既存の「Omni3D」ベンチマークで性能を評価。
  • **ゼロショット評価**: 未学習のカテゴリに対する汎化能力を測るため、「Argoverse 2」と「ScanNet」でゼロショット評価を実施。
  • **プロンプトモダリティの比較**: テキストプロンプトとボックスプロンプトの両方を用いた場合の性能を報告し、多様な入力形式への対応能力を示した。
  • **深度キューの効果検証**: 補助的な深度情報を推論時に組み込んだ場合とそうでない場合の性能を比較し、深度キューが平均+20.7 APという大幅な性能向上に寄与することを定量的に示した。
5. 議論はある？
  • アブストラクトからは直接的な議論の記述はないが、一般的には以下のような点が議論の対象となり得る。
  • 補助深度キューが利用できない環境（例: 深度センサーがないデバイス）での性能限界や、その場合のロバスト性。
  • 大規模データセット構築における人間検証のコストと、そのスケーラビリティに関する課題。
  • 2Dアノテーションからの3D候補生成プロセスにおける潜在的なバイアスやエラーの影響。
  • 推論時の計算リソースやリアルタイム性能に関する詳細な分析が、実世界応用には不可欠となる。
6. 次に読むべき論文は？
  • 「Omni3D」ベンチマークを提案した論文（3D検出の汎化に関する文脈で）。
  • 「Argoverse 2」や「ScanNet」データセットの詳細に関する論文（ゼロショット評価の背景理解のため）。
  • 2Dアノテーションから3Dアノテーションを自動生成する手法に関する論文（データセット構築の技術的詳細を深掘りするため）。
  • プロンプトベースのビジョンモデル、特に3D認識におけるマルチモーダル入力の統合に関する最新の研究論文。

Abstract (原文)

Understanding objects in 3D from a single image is a cornerstone of spatial intelligence. A key step toward this goal is monocular 3D object detection--recovering the extent, location, and orientation of objects from an input RGB image. To be practical in the open world, such a detector must generalize beyond closed-set categories, support diverse prompt modalities, and leverage geometric cues when available. Progress is hampered by two bottlenecks: existing methods are designed for a single prompt type and lack a mechanism to incorporate additional geometric cues, and current 3D datasets cover only narrow categories in controlled environments, limiting open-world transfer. In this work we address both gaps. First, we introduce WildDet3D, a unified geometry-aware architecture that natively accepts text, point, and box prompts and can incorporate auxiliary depth signals at inference time. Second, we present WildDet3D-Data, the largest open 3D detection dataset to date, constructed by generating candidate 3D boxes from existing 2D annotations and retaining only human-verified ones, yielding over 1M images across 13.5K categories in diverse real-world scenes. WildDet3D establishes a new state-of-the-art across multiple benchmarks and settings. In the open-world setting, it achieves 22.6/24.8 AP3D on our newly introduced WildDet3D-Bench with text and box prompts. On Omni3D, it reaches 34.2/36.4 AP3D with text and box prompts, respectively. In zero-shot evaluation, it achieves 40.3/48.9 ODS on Argoverse 2 and ScanNet. Notably, incorporating depth cues at inference time yields substantial additional gains (+20.7 AP on average across settings).

📄 arxiv ページ 📑 PDF ⭐ GitHub (269 stars)