【研究領域課題番号】21K17762 (KAKENデータベースで見る）

【研究キーワード】

３次元復元 / マルチスペクトルイメージング / デプス推定 / 分光反射率推定 / プロジェクターカメラシステム / コンピュータビジョン / 画像処理 / ３次元計測 / 分光計測

【研究成果の概要】

本研究では、汎用のプロジェクタとカメラを用いて、物体3D 形状（デプス）と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。
初年度である2021年度は、研究計画のフェーズⅠとして、既存のカラーコードパターン投影に基づくネットワーク構築を実施した。また、ネットワーク学習用のデータ生成のため、物体形状および物体分光反射率を任意に設定し、実際のプロジェクタ－カメラシステムで撮影した画像をシミュレーション可能な、画像生成シミュレーターを開発した。
ネットワーク構築においては、RGBランダムドットパターンを投影して撮影したワンショット画像を入力として、デプス画像と分光反射率画像を同時推定するネットワーク構造を提案した。デプス画像推定においては、構造化光3次元復元の原理に基づき、プロジェクタ－カメラ間のドットパターンマッチングによりデプス画像を推定する。分光反射率画像推定においては、マルチスペクトルイメージングの原理に基づき、RGBの３つのプロジェクタ光源スペクトルおよびRGBの３つのカメラ分光感度の組み合わせによる９バンド情報から、分光反射率画像を推定する。これらの原理をロス関数として組み込み、ネットワークを実装した。
画像生成シミュレーター開発においては、3D空間上に任意の物体を配置し、実際のシステムで撮影した画像をシミュレーション可能なツールを開発した。物体形状として既存の物体形状データベース、物体分光反射率として既存の分光反射率データベースをそれぞれ活用し、これらの任意の組み合わせにより必要な規模の学習データを生成した。
生成したデータに基づき学習したネットワークを、テスト用のシミュレーションおよび実データで評価し、有効性を確認した。これらの成果は、コンピュータビジョンのトップ国際会議であるCVPRで発表予定である。

【研究種目】若手研究

【研究期間】2021-04-01 - 2024-03-31

【配分額】4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)

【研究分野】知能ロボティクス

【研究領域課題番号】25540114 (KAKENデータベースで見る）

【研究キーワード】

計測工学 / 画像処理 / コンピュータビジョン / オーロラ / 3次元計測 / ステレオ計測 / 魚眼カメラ / 可視化

【研究成果の概要】

本研究では，複数地点に設置した広視野な魚眼カメラを用いて，オーロラの全天3次元形状・位置を高精度に計測する手法を構築した．具体的には，極寒地であるアラスカでオーロラ映像の自動連続撮影が可能な高信頼全天撮影装置の開発した．また，視野が広い半面で歪みが大きい魚眼カメラの内部パラメータ（レンズの歪み特性や焦点距離など）および外部パラメータ（カメラの設置位置と設置姿勢）の高精度同定手法を構築した．更に，3次元立体視可能なオーロラのステレオ映像の自動生成手法を構築した．以上により，超広視野・超高精度の3次元オーロラステレオ計測を実現した．

【研究種目】挑戦的萌芽研究

【研究期間】2013-04-01 - 2015-03-31

【配分額】3,770千円 (直接経費: 2,900千円、間接経費: 870千円)

【研究分野】流体工学

【研究領域課題番号】24656118 (KAKENデータベースで見る）

【研究キーワード】

共焦点マイクロPIV / 色収差 / 3次元計測 / 共焦点スキャナ / マイクロPIV / ３次元計測 / マイクロ･ナノデバイス / 共焦点顕微鏡 / 可視化 / マイクロ・ナノデバイス / 画像処理

【研究成果の概要】

本研究では、マイクロ流動の新しい３次元計測法の開発を目的とし、共焦点スキャナと色収差を組み合わせた手法を提案した。光学設計においては、市販のレンズの組み合わせのみで16.5ミクロンの色収差量を生成することに成功し、光学配置の検討により、狭帯域ではあるが色収差画像の取得に成功した。さらに、三板式カラーカメラやLDLS（レーザ励起光源ユニット）の導入により、よりノイズが少なく、鮮明な粒子画像の取得を可能としている。流れを計算するPIVアルゴリズムの開発と実装は、現在の色収差画像では精度を保証するには不十分であるため、引き続き開発と検証を進めていく。

【研究種目】挑戦的萌芽研究

【研究期間】2012-04-01 - 2014-03-31

【配分額】4,030千円 (直接経費: 3,100千円、間接経費: 930千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】22680017 (KAKENデータベースで見る）

【研究キーワード】

水中 / 画像処理 / コンピュータビジョン / 光の伝搬特性 / 光の屈折 / 光の減衰 / 3次元計測 / センシング

【研究成果の概要】

カメラ画像を用いたセンシング技術は,非接触で広範囲を同時に計測できることから幅広く用いられている.これまでの画像センシング技術は,主に空気中など光の伝播特性が一定の環境を取り扱うことが多かった.しかし,水中環境においては,光の屈折,光の減衰,光の遮断などの問題が生じるため,空気中のセンシング手法をそのまま使用することが難しい.そこで本研究では,これら光の伝播特性を考慮した水中センシング手法を構築した.

【研究種目】若手研究(A)

【研究期間】2010 - 2012

【配分額】25,220千円 (直接経費: 19,400千円、間接経費: 5,820千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】20700184 (KAKENデータベースで見る）

【研究キーワード】

全方位カメラ / 移動ロボット / センシング / 3次元計測 / 地図生成 / モデリング / 環境センシング / 単眼カメラ / 画像処理 / 環境モデリング / 特徴点追跡

【研究成果の概要】

ロボットが未知環境で自律的に活動するためには,ロボット自身が周囲環境を計測し,地図を生成する必要がある.そこで本研究では,全方位カメラを搭載した移動ロボットを用いて環境センシングを行う手法を提案する.提案手法では,周囲環境のセンシングを行うと同時に,移動ロボット自身の動きも推定する.実験結果より,提案手法の有効性を確認した.

【研究種目】若手研究(B)

【研究期間】2008 - 2009

【配分額】4,290千円 (直接経費: 3,300千円、間接経費: 990千円)

【研究分野】計測工学

【研究領域課題番号】19560422 (KAKENデータベースで見る）

【研究キーワード】

水中 / 画像計測 / 光の伝播特性 / コンピュータビジョン / 画像処理 / 3次元計測 / 光の屈折 / 光の減衰

【研究成果の概要】

水中物体を防水ハウジング中のカメラで撮影する場合、物体からの光はハウジングの境界面で屈折を起こし、形状に歪を生ずる。本研究では、そのような屈折現象を伴った画像から水中物体の3次元形状を取得する方式について検討を行った。また屈折率は波長により異なることから、単色光による計測が分解能の点で有利であることを示した。さらに水中での光の減衰が波長により異なることを考慮した水中画像の色復元法について検討した。

【研究種目】基盤研究(C)

【研究期間】2007 - 2008

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】17700182 (KAKENデータベースで見る）

【研究キーワード】

書籍 / 電子化 / ステレオカメラ / 画像処理 / コンピュータビジョン / 3次元計測 / 歪曲補正 / 画像合成

【研究成果の概要】

1.文書撮影システムの構築
2台のカメラを用いて文書撮像システムを構築した.具体的には,書籍を上向きに置き,ステレオカメラを用いて非接触で書籍の撮影が可能なシステムを構築した.
2.紙面形状の3次元計測
ステレオカメラから得られる画像2枚の視差を求めることにより,紙面の3次元形状を計測する手法を構築した.ここで,文書表面には密なテクスチャがあり,かつ近距離から撮影しているため左右画像で光の当り方が異なる.従って,照明条件の変化に強い正規化相互相関をベースとした手法を用いて対応点検出を行った.更に,形状が比較的滑らかという性質を利用し,計算時間の短縮を図った.
3.紙面形状の復元
(2)によって求めた計測点から,歪曲した紙面形状を曲面方程式で表現する手法を提案した.また,本の綴じ込みや紙の折れ目部分などでは曲率が不連続となるため,この部分をHough変換を用いて検出し,検出した線分で囲まれる領域に対してそれぞれ曲面を当てはめる手法を構築した.
4.歪曲補正・画像合成
歪曲した紙面形状を平らにしたときの画像を再構築する方法を提案するとともに,2台のカメラから得られる画像のうち高解像度の部分を合成し,綺麗な画像を生成する手法を構築した.ここでは,曲面上の2点問の距離を保存したまま形状を平面に変形させる方法を構築した.また,カメラの光軸と紙面の法線ベクトルの関係から,左右画像のうちどちらが高解像度かを決定して合成に用いた.
5.左右画像の色合い補正
照明条件やカメラの個差の影響により,左右カメラで文書を同時に撮影しても左右画像では色合いが異なる.そこで,(3)で求めた形状情報を用いると同時にShape from Shadingの手法を併用し,自然な合成画像を生成するために左右画像の色合い補正を行った.

【研究種目】若手研究(B)

【研究期間】2005 - 2006

【配分額】3,600千円 (直接経費: 3,600千円)

【研究分野】メディア情報学・データベース

【研究領域課題番号】17500067 (KAKENデータベースで見る）

【研究キーワード】

画像処理 / 画像合成 / クロマキー / 立体画像 / コンピュータビジョン / 3次元計測 / バーチャル・リアリティ / ステレオカメラ

【研究成果の概要】

1.ストライプ状背景を用いた撮影画像からの対象抽出:スタジオ内で撮影された人物などの画像と別途撮影された画像を合成するために必要な、画像からの対象抽出手法を構築した。背景色と同一色の対象を抽出することが不可能であるという従来のクロマキーの問題点を解決するため、2色から成るストライプ状背景を用いて任意色対象の抽出を行った。
2.輪郭抽出処理の高精度化:ストライプ状背景を用いた対象抽出処理で得られる抽出結果をさらに高精度化するために、同結果を初期輪郭として動的輪郭モデル(Snakes)を適用する処理手順を構築した。
3.市松模様の背景を用いた撮影画像からの対象抽出:ストライプ状背景は水平方向のみにエッジが存在するという方向性を有する。従って抽出対象のエッジがこのエッジと平行な場合は両エッジは交差せず、輪郭情報を得ることができない。そこで背景の垂直方向にもエッジを持たせるように市松模様の背景とする方式を提案し、これにより任意の方向の輪郭を抽出することを可能とした。
4.対象抽出・画像合成の改善:異なる2枚の画像を合成する際に綺麗な合成画像を得るためには、対象抽出の輪郭および合成境界部分において、前景画像と背景画像の色合いがどの程度混ぜ合わさっているかを表す指標であるα値の推定が重要である。そこで、より高精度にα値を推定する手法を構築した。
5.画像合成のための幾何学的関係推定:背景と人物の位置や大きさの関係を考慮せずに画像合成を行うと、不自然な画像となってしまう。そこで、ステレオカメラを用いて対象の3次元計測を行うことにより、合成時の前景となる対象の位置情報や幾何学的情報を取得する手法について検討した。
6.立体画像合成実験:提案した画像抽出・合成手法による立体画像合成実験を多数の被写体に対して行うことにより、提案手法の有効性を確認した。

【研究種目】基盤研究(C)

【研究期間】2005 - 2006

【配分額】3,600千円 (直接経費: 3,600千円)