解説論文 
高速ビジョンが開くダイナミックプロジェクションマッピング技術

小特集
ディジタルヒューマンインタフェースの新潮流

高速ビジョンが開く
ダイナミックプロジェクションマッピング技術

Dynamic Projection Mapping Technologies Pioneered by High-speed Vision

宮下令央 Leo Miyashita

末石智大 Tomohiro Sueishi

田畑智志 Satoshi Tabata


早川智彦 Tomohiko Hayakawa

石川正俊 Masatoshi Ishikawa†, ††

Summery 運動や変形を伴う対象に対してプロジェクションマッピングを施すダイナミックプロジェクションマッピング(DPM) に関する研究が盛んに行われ,多彩な発展を見せている.本稿ではプロジェクションマッピングとDPM では要求されるシステムの高速性が決定的に異なることを指摘し,その高速性を実現する高速ビジョンチップや高速プロジェクタ,高速画像処理といった高速ビジョン技術群を紹介する.更に,これら高速ビジョン技術を用いて無拘束かつ多次元の表現に向けて進化を続けているDPM の応用研究について解説する.

Key Words 高速画像処理,ダイナミクス整合,ビジョンチップ,高速三次元計測,高速プロジェクタ

1

はじめに

近年,エンターテインメント業界では映像を使って空間を華やかに彩るプロジェクションマッピングが盛んに行われている.プロジェクションマッピングは投影先の対象形状に応じた映像を投影する技術であるが,従来のスキームでは事前に計測した対象形状を基にコンテンツとなる映像を作成するため,その対象は主に建物などの静止物体に限られてきた.一方で,既存のエンターテインメントと組み合わせることを考えると,パフォーマーの衣装やパフォーマー自身にプロジェクションマッピングを施すなど,運動や変形を伴うダイナミックなシーンへの対応が期待される.また,このような動物体を対象とするダイナミックプロジェクションマッピング(DPM)は三次元的に動き回るボールやドローンへの投影,動きと連動したコンテンツのリアルタイム生成など,新しい表現の創出にもつながる.

しかし,DPM では,対象の状態を認識してから映像に反映するまでの遅延が技術的な課題となる.プロジェクションマッピングは対象の計測,映像の生成,映像の投影という三つのステップを経て行われ,ダイナミックなシーンでは各ステップの遅延の合計が投影された映像の「位置ずれ」として表れる.この位置ずれはプロジェクションマッピングを破綻させ,没入感を著しく損なうものであり,人間は約6 ms 以上の遅延による位置ずれを知覚するという報告(1)から,遅延を数 ms に抑えることがダイナミックな対象にぴったりと映像投影を行うDPM の条件となっている.

一方で,従来の画像処理アルゴリズム及びデバイスは人間に滑らかな映像を提示することを目標として,ビデオレート(30 frame/s)を基準に設計されていることが多く,撮像するだけでも数十ms を要するため,数ms 以下の遅延が要求されるDPMに用いるには速度が不十分である.そのため,DPM の実現には対象のダイナミクスに応じた高速画像処理技術や高速デバイスの開発が必要となる.このように対象のダイナミクスにシステムの高速性を合わせる設計思想は「ダイナミクス整合」(用語)と呼ばれ(2),DPM に限らず,高速ロボットの開発においても用いられる重要な概念となっている(3)

本稿では,2. において,従来システムをはるかかに超えた高速性によりダイナミクス整合を実現し,動物体に対しても矛盾のない映像をぴったりと投影する高速ビジョン技術群について紹介する.更に3.6. では,これら高速ビジョン技術を用いて投影対象とする物体の運動や形状に関する制約を解消し,自由なDPM を実現した研究について解説する.………

東京大学,東京都

The University of Tokyo,Tokyo,113-8656

††

東京理科大学,東京都

Tokyo University of Science,Tokyo,162-8601