写真→3D変換手法の比較検証 2025

TripoSR NEW

Stability AI と Tripo AI が共同開発したLRMベースの3Dメッシュ生成モデル。 見えていない部分も補完して、360度回転可能な完全な3Dメッシュを生成する。

技術的特徴

• 出力: OBJ形式 (3Dメッシュ)
• 処理時間: 1-1.5秒
• VRAM: 約6GB
• 背景自動除去（rembg）
• 頂点カラー付きメッシュ

セットアップ

git clone https://github.com/VAST-AI-Research/TripoSR.git
cd TripoSR
python -m venv .venv
.venv/bin/pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
.venv/bin/pip install omegaconf einops transformers trimesh rembg huggingface-hub scikit-image onnxruntime xatlas moderngl

注意: torchmcubes問題の回避

CUDAヘッダーがない環境ではtorchmcubesのビルドに失敗する。 scikit-imageのmarching_cubesで代替可能：

# tsr/models/isosurface.py を修正
from skimage import measure
def skimage_marching_cubes(level, iso_value):
    verts, faces, _, _ = measure.marching_cubes(level.cpu().numpy(), level=iso_value)
    return torch.from_numpy(verts), torch.from_numpy(faces)

使い方

.venv/bin/python run.py input.jpg --output-dir output/

cd ~/ml-sharp
uv run sharp predict -i input.jpg -o output/

RGB = 0.5 + 0.282 * f_dc

Depth Anything 3 NEW

ByteDance Seedが2025年11月に発表した最新の深度推定モデル。 「深度光線表現」により複雑なマルチタスク学習が不要になり、 Any-view対応（複数視点から一貫した深度推定）を実現。

V2からの進化

• Any-view対応: 複数画像で空間的に一貫した深度
• シンプル設計: 標準DINOエンコーダーのみ
• 深度光線表現: マルチタスク学習不要
• 公開学術データセットのみで学習

モデルバリエーション

• DA3-Small (80M) / Base (120M) / Large (350M) / Giant (1.15B)
• DA3MONO-LARGE: 高品質単眼深度推定（今回使用）
• DA3METRIC-LARGE: メートル単位の絶対深度

セットアップ

git clone https://github.com/ByteDance-Seed/Depth-Anything-3.git
cd Depth-Anything-3
uv venv && uv pip install torch torchvision xformers
uv pip install -e .

使い方

from depth_anything_3.api import DepthAnything3
model = DepthAnything3.from_pretrained("depth-anything/DA3MONO-LARGE")
prediction = model.inference(["input.jpg"])
depth = prediction.depth[0]  # [H, W] float32

uv run tools/generate_depth_nanobana.py input.jpg depth.png