Discovery Sagaサイレントキーワード俯瞰

画像処理 / 仮想空間 / コンピュータグラフィックス / 水 / 樹木 / 人物像 / 挙動 / 3次元

非剛体として、(1)水、(2)樹木、(3)人物像、の3種類を検討対象とし、それぞれの挙動を画像処理により認識するとともに、仮想的3次元空間において再現する方法の検討を以下のように行った。
(1)水面を観測するカメラ画像を解析し、Bump mappingを用いて水面形状を再現する方法の検討を進めた。Bump mappingを行うためには、水面における多数の点に対する法線ベクトルを推定する必要があり、Shape from Shading(SfS)が有効と考えられる。SfSにおける直交投影カメラモデルに起因する誤差抑制のために、遺伝的アルゴリズムを用いて法線ベクトルの向きの推定結果を最適化する方法を提案し、良好な結果の見通しを実験により得た。
(2)実空間中の樹木の挙動を、3次元樹木モデルで再現するためには、樹木の挙動を認識する必要があるが、枝や葉を逐一追跡するのは隠れの問題などのため大変困難である。そこで、あらかじめ何種類かの風が吹いた状態における樹木の動画像を蓄積しておき、学習的に風の強さと向きを推定する方法を提案し、有効性の見通しを得た。
(3)人物全身像の画像処理による3次元姿勢推定法の検討を進めた。人体パーツに対応して色分けした衣服を着用した人物を複数カメラで観測し、色彩情報により人体パーツを抽出する。パーツ領域の画素数の大きい2つのカメラ画像を選択し、パーツの形状を解析して、関節に対応する特徴点の3次元座標を求める手法の有効性の見通しを得た。また、前述の画像処理による方法の姿勢推定結果は、装着型のモーションキャプチャシステムと比較して低解像度であり推定可能な自由度が低いという問題があるので、ニューラルネットを用いた学習によりこの問題を解決する方法を検討し、有効性の見通しを得た。一方、表情の3次元顔モデルにおける再現については、顔モデルの変形に加えて、顔画像から得られる実写テクスチャを適宜マッピングすることにより、皺などの微細構造をリアルに表現できる見通しを得た。

非剛体 / 仮想空間 / 再現 / 画像処理 / コンピュータグラフィックス / 水 / 樹木 / 人物像 / 仮想的環境 / 非剛体物体 / 挙動再現 / 流体 / バンプマッピング / インタラクション認識 / 動き認識 / 3次元人物モデル

本研究の目的は、実空間中の非剛体物体の挙動を仮想的環境で実時間再現する方法を確立することである。本研究では、1.水、2.樹木、3.人物像、を非剛体物体の検討対象として取り上げ、以下のような検討を行った。
1.本研究の目的に合致する水のモデリング法としてバンプマッピングが適していることをまず明らかにした後、バンプマッピングのために必要な水面上の多数の点への法線ベクトルを、水面の画像から獲得する方法を検討した。Shape from Shadingを用いる方法を提案し、水面の明るさが滑らかに変化する部分については有効だが、周囲景観等の水面への映り込み像の輪郭部等において、形状推定結果に不連続が生じる問題が発生することがわかった。これに対処するアルゴリズムを検討し、有効性の見通しを得た。
2.樹木の挙動を仮想的環境で再現するために必要な、3次元樹木モデルの効率的かつリアルなアニメーション法を検討した。樹木モデルにおける全ての枝セグメントの運動解析を避け、各枝において中心的な役割を果たすセグメントのみを解析するとともに、3次元運動を2次元運動方程式から導く方法を提案し、実験により効率性を確認した。さらに、リアルかつ効率的な葉のレンダリングが可能な条件を明らかにした。
3.人物の動きは表情と全身の動作に大別される。表情に関しては、表情筋の構造と動作を再現する3次元モデルに、顔画像の実写テクスチャをマッピングする手法を検討し、皺等の微細構造の再現が行える見通しを得た。全身像については、人体パーツに対応して色分けした衣服を人物が着用し、色彩画像解析することにより、従来の人物像シルエット解析法では扱うのが困難だった隠れの問題(前のパーツが後ろを隠す、等)を解決できる見通しを得た。また、人物と物体との相互作用がある状況での人物の挙動認識法の基礎的検討を行った。