影が主役の彫刻というジャンルがある。Tim Noble & Sue Websterはガラクタの山にライトを当てて人物のシルエットを浮かび上がらせるし、福田繁雄はスプーンとフォークの塊からバイクの影を落とした。ホフスタッター『ゲーデル、エッシャー、バッハ』の表紙——G・E・Bの3文字を三方向に投影する木のブロック——もこの仲間だ。この論文は、そういう作品を試行錯誤の手作業ではなく、計算で設計できるようにした最初の本格的な仕事だ。
入力は「影の絵(白黒画像)」と「光源の配置(平行光か点光源か、どの向きか)」の組を1つ以上。各組は空間の中に一般化された錐を定義する——その錐の外に材料を置くと、影が指定からはみ出してしまう領域だ。全部の錐の共通部分をとると、「彫刻が存在してよい最大の領域」が得られる。著者らはこれを影のハルと呼ぶ。3D復元でシルエットから形を求める visual hull(Laurentini 1994)と同じ構成だが、決定的な違いが一つある。visual hull のシルエットは実在の物体を撮影したものだから必ず整合するのに対し、人間が勝手に描いた複数の影は、それを同時に満たす立体が存在するとは限らない。
論文の一番面白い主張はここだと思う。影を3枚以上指定すると、矛盾はほぼ必ず起きる。たとえばミッキーの左足に相当する影のピクセルを埋めようとすると、そのピクセルへ向かう光線上のボクセルはどれも、別の影(スヌーピーやポパイ)の輪郭の外にはみ出た場所に投影されてしまう——どこに材料を置いてもどれかの影を壊す。放っておくと影は欠けて、作品として成立しない。
解決策が逆転の発想で、彫刻ではなく、入力画像の方を歪める。矛盾しているピクセルを見つけ、それを直すのに最も安上がりなボクセル(他の影の輪郭からのはみ出し距離が最小のもの)を特定し、そのはみ出しを解消する方向へ画像の輪郭を引っ張る位置制約を立てる。画像の変形には as-rigid-as-possible 変形(Igarashi 2005)を使い、一度に制約の25%だけ動かして繰り返す。最初は画像を硬くして位置合わせだけさせ、徐々に柔らかくして非剛体変形を許す。絵の意味が保たれる程度の小さな歪みで、立体として成立する影の組に着地させる。
整合した影のハルはあくまで「許される最大領域」で、実際にはかなり削っても影は変わらない。論文はこの自由度を使う編集ツール(ブラシ、光線に沿って削るレイツール、侵食)を用意していて、どのツールも影の制約を自動で守る——ある場所を削ると別の場所の削れる余地が変わる、という非局所的な結合ごと管理してくれる。さらに、既製の3Dモデル(ウサギや象)をランダムに配置してICP(反復最近接点法)で位置合わせしながらハルの中に詰めていく「構成的シャドウアート」の自動生成もある。ガラクタの山から影が出る、あのNoble & Webster式の作品を、3枚の非直交の影で同時に成立させた例は、手作業ではまず無理な代物だ。
計算は点光源・平行光の仮定でやっているので、実物のライトは影の輪郭をにじませる。論文はこれを欠点として片付けずに、にじみはボクセル離散化のエイリアシングを均すローパスフィルタとして働くと指摘している。理想化とのずれが逆に見た目を助ける、という観察。
影の絵が複数の連結成分を持てば彫刻もバラバラになるが、これは透明な樹脂に埋めるか、細い糸で吊って解決する(実際にレゴ組みと3Dプリントで作っている)。「最小で何ボクセルあれば影の制約を満たせるか」という理論的な問いも立てていて、ブール充足可能性問題に帰着し、直交2影の特殊ケースなら二部グラフのマッチングに落ちることまで示している。