Discovery Sagaサイレントキーワード俯瞰

表情筋モデル / 表情変形ルール / 顔モデリングツール / 3次元レンジデータ / 顔整合ツール / 表情アニメーションツール / フューチャーキャストシステム / 表情合成 / コンピュータグラフィックス / 物理シミュレーション / トーキングヘッド / マルチモーダルコーパス / モーションキャプチャ / 3次元顔モデル / レンジセンサー / 表情アニメーション / テクスチャ合成 / 擬人化エージェント / 顔アニメーション / ダイナミクス / リップシンク / レンジファインダー / プラグイン / バネモデル / 筋肉モデル / 感性コミュニケーション / ダイナミクスモデル

本研究は、人間の表情筋を実態に即して忠実にモデル化することによって得られたダイナミックな特性をルール化し、この新しい表情筋モデルの制御およびそのモデルから得られた知見に基づいてリアリティの高い表情合成の実現を試みる研究である。
まず、表情変形ルールを定義するために、作成された表情筋モデルに関して、個々の表情筋を物理シミュレーションする方式を検討した。その方法とは、まず、広がりのある表情筋をバネの集合体であると仮定する。次に、その運動方程式を解くことで、表情筋が収縮する際の速度、加速度を計算して、表情筋の運動を制御するとともに、表情筋の体積保存則や表情筋どおしの衝突の判定および反力の効果も考慮して、実態にできるだけ近い表情筋の運動モデルを構築した。
定義によって構築された表情変形ルールの評価として、個々の表情筋を実際に運動させたときに表出される表情の自然さについて主観評価を実施した。また、EMGの測定データとその際の表出表情を記録し、実施に表情筋モデルをEMGで駆動して、合成される表情が観測されたものに近いかどうかを検討した。加えて、音声信号を利用して新たな客観評価手法を提案した。
平均的な表情筋に個々の人物の表情筋へのバリエーションの付加を可能とする顔モデリングツールを作成した。これは撮影された正面顔画像に対してこのジェネリックな表情筋モデルをフィッティングさせ、近似的に人物の表情筋モデルを作成できるように配慮した。さらに、実際に表情筋を動かしてみて、合成される表情と本人の表情を比較し、表情筋の強度の典型的な組み合わせを設定することによって、喜怒哀楽や微妙な表情の合成が可能となった。
簡単な作業で、標準顔ワイヤフレームで計測された3次元レンジデータにフィッティング可能な顔整合ツールを開発した。また、この整合された個人顔モデルに対し表情合成を行い、音声と同期してリップシンクを実現できる汎用の表情アニメーションツールを開発した。このツールは、音声対話擬人化エージェント作成支援ツールに組み込まれている。
この研究によって得られた表情合成アプリケーションの一部を2005年に開催された愛・地球博において実現した。フューチャーキャストシステムとして提案したこのシステムは、観客参加型のエンタテインメントシステムであり、キャストの情報合成手法に今回の表情合成アルゴリズムの一部を反映させた。

モーションキャプチャー / コンピュータグラフィックス / 感性情報 / コンピュータアニメーション / 感性情報処理 / モーションキャプチャ / 信号処理

本研究では、モーションキャプチャシステムによりキャプチャされた動きデータに対し8種の感情プリミティブ用に設定された関数で変化を加えるソフトウェアの開発及びそのソフトウェアを用いて簡単なデモンストレーション作品を制作した。制作者はこの手法を用いたツールを使うことにより、複雑な信号処理の知識を持つことなしに、感覚的なスライダ調整によりキャラクタの感情ポーズを設定していくことが可能である。実際のプロダクションワークの中で簡単にキーフレームによって制作したアニメーションやモーションキャプチャによるモーションデータを再利用し、制作の効率化を図る事に役立つことを検証した。ツールはキャラクタアニメーションの制作環境として最もシェアの多いAlias Wavefront社の"Maya"用プラグインとして開発され、実制作用に構築された環境で利用することができる。感情ポーズ設定のアルゴリズムとしては、体幹と両腕の面積を入力とし、3次元立体空間を独自の感情座標空間にマッピングすることにより実装されている。感情空間は、舞台役者のモーションデータを参考に、強度・緊張度・主張度の3軸をもち、人間の重心(本研究では簡易化するため腰骨ジョイントノードに設定)を原点として広がる座標系として設定されている。学会発表は、2001年度人工知能学会ポスターセッション、2001年NICOGRAPH論文コンテストの2つにおいて採択され、発表を行った。

動力学シミュレーション / マルチボディダイナミクス / コンピュータグラフィクス / ヒューマンフィギュア / アニメーション / 運動生成 / ヒューマノイド / 機構解析 / コンピュータグラフィックス / 振り付け生成 / 動力学計算 / モーションキャプチャ / 人体モデル / 並列計算 / ロボティクス / 構造可変リンク系 / 効率的計算アルゴリズム / 人間行動情報

本研究の成果は以下の4点でまとめられる.
・複数のヒューマンフィギュアなど大規模な構造可変リンク系に適用可能な高速順動力学計算法を開発した.この計算法を用いるとN個のリンクからなる系の動力学シミュレーションに必要な計算量がO(N)となり,さらにO(N)個のプロセスで並列計算を行うことにより計算時間をO(logN)に短縮することができる.これは現在提案されている最も高速な順動力学計算法と同じ計算複雑性であるのに加え,構造可変リンク系に適用可能であるという特徴を持つ.これにより,接触を含む複雑な運動を実時間の数倍程度の時間でシミュレートすることができる.
・逆運動学計算を用いて,数個のリンクの位置を指定するだけで全身のポーズを決定することのできる計算法を開発し,CGアニメーション生成に応用した.従来のCGアプリケーションと比べて容易に自然なアニメーションを生成することができ,作業効率が大幅に向上することが示された.
・上記動力学計算法と逆運動学計算のインタフェースを応用して,力学的整合性を満たすヒューマンフィギュアの運動生成を行う方法を開発した.これにより,簡単なインタフェースで力学的なバランスなどを考慮した運動を自動的に生成できるようになった.
・力学計算を用いたゲームなどのアプリケーションに必要なインタフェースを考案した.力学シミュレーションを用いることにより,サーカス,アクロバットなどモーションキャプチャの難しい運動も扱えることを実証した.

表情合成 / 感情空間 / 表情認識 / 表情計測 / アクションユニット / テクスチャマッピング / ニューラルネット / リップシンク / コンピュータグラフィックス / 表情分析 / 3次元モデル / モーションキャプチャ / コンピュータビジョン / ヒューマンコンピュータインタラクション / 感性情報処理 / FACS / モデリング / エージェント / 3次元グラフィックス

まず、本研究では、顔面の動きを3次元的に計測するシステムを構築した。これは、被験者の顔面にマーカーを付与し、これを垂直に配置した2台のカメラで撮影して、各特徴点の動きを3次元座標の移動量として取得するものである。このシステムを利用して、心理学分野で提唱されているFacial Action Coding Systemのアクションユニットの定量化や、発話時の口形状の実測を実施した。また頭部を表現した3次元ワイヤフレームの変形と正面画像のテクスチャマッピングにより、計測した原画像の表情をそのままコンピュータグラフィックスとして再現することを可能にした。次のテーマとして、アクションユニットの組み合わせによって実現される6つの基本表情を作成し、この表情記述パラメータからニューラルネットの恒等写像学習によって3次元の感情空間を獲得した。これは、表情記述パラメータの組み合わせによって記述された感情状態を3次元の空間の1点として表現するもので、感情の認識と合成を同時に実現することができる。この感情空間の評価により、空間内では表情が連続的に記述され、心理学的にも妥当な空間が獲得されていることが明かとなった。次に手がけたテーマは、マーカを添付せずに、表情認識する試みである。これは、目と唇領域に注目し、画像の空間周波数情報が表情変形と相関が高いことに着目して、縦方向と横方向の周波数帯域成分から6つの基本感情を推定するシステムを構築した。このシステムでは目と唇領域を自動的に追跡して、フレーム毎に感情状態の認識結果を実時間で出力することができるようになった。実験結果から人間の主観による認識に近い性能を実現できた。

【研究分担者】
島田和幸	鹿児島大学	大学院・医歯学総合研究科	教授	(Kakenデータベース)

【研究分担者】
今川洋尚	株式会社セガ	未来研究開発部	研究員
野地朱真	尚美学園大学	芸術情報学部	専任講師
岡田昌史	東京大学	大学院・情報理工学系研究科	講師	(Kakenデータベース)

【研究分担者】
原島博	東京大学	工学部	教授	(Kakenデータベース)
千葉浩彦	淑徳大学	社会学部	助教授	(Kakenデータベース)
山田寛	川村短期大学	教養科目	助教授	(Kakenデータベース)
森島繁生	成蹊大学	工学部	助教授	(Kakenデータベース)