Discovery Sagaサイレントキーワード俯瞰

本研究では、汎用のプロジェクタとカメラを用いて、物体3D 形状（デプス）と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。
初年度である2021年度は、研究計画のフェーズⅠとして、既存のカラーコードパターン投影に基づくネットワーク構築を実施した。また、ネットワーク学習用のデータ生成のため、物体形状および物体分光反射率を任意に設定し、実際のプロジェクタ－カメラシステムで撮影した画像をシミュレーション可能な、画像生成シミュレーターを開発した。
ネットワーク構築においては、RGBランダムドットパターンを投影して撮影したワンショット画像を入力として、デプス画像と分光反射率画像を同時推定するネットワーク構造を提案した。デプス画像推定においては、構造化光3次元復元の原理に基づき、プロジェクタ－カメラ間のドットパターンマッチングによりデプス画像を推定する。分光反射率画像推定においては、マルチスペクトルイメージングの原理に基づき、RGBの３つのプロジェクタ光源スペクトルおよびRGBの３つのカメラ分光感度の組み合わせによる９バンド情報から、分光反射率画像を推定する。これらの原理をロス関数として組み込み、ネットワークを実装した。
画像生成シミュレーター開発においては、3D空間上に任意の物体を配置し、実際のシステムで撮影した画像をシミュレーション可能なツールを開発した。物体形状として既存の物体形状データベース、物体分光反射率として既存の分光反射率データベースをそれぞれ活用し、これらの任意の組み合わせにより必要な規模の学習データを生成した。
生成したデータに基づき学習したネットワークを、テスト用のシミュレーションおよび実データで評価し、有効性を確認した。これらの成果は、コンピュータビジョンのトップ国際会議であるCVPRで発表予定である。