Discovery Sagaサイレントキーワード俯瞰

表情筋モデル / 表情変形ルール / 顔モデリングツール / 3次元レンジデータ / 顔整合ツール / 表情アニメーションツール / フューチャーキャストシステム / 表情合成 / コンピュータグラフィックス / 物理シミュレーション / トーキングヘッド / マルチモーダルコーパス / モーションキャプチャ / 3次元顔モデル / レンジセンサー / 表情アニメーション / テクスチャ合成 / 擬人化エージェント / 顔アニメーション / ダイナミクス / リップシンク / レンジファインダー / プラグイン / バネモデル / 筋肉モデル / 感性コミュニケーション / ダイナミクスモデル

本研究は、人間の表情筋を実態に即して忠実にモデル化することによって得られたダイナミックな特性をルール化し、この新しい表情筋モデルの制御およびそのモデルから得られた知見に基づいてリアリティの高い表情合成の実現を試みる研究である。
まず、表情変形ルールを定義するために、作成された表情筋モデルに関して、個々の表情筋を物理シミュレーションする方式を検討した。その方法とは、まず、広がりのある表情筋をバネの集合体であると仮定する。次に、その運動方程式を解くことで、表情筋が収縮する際の速度、加速度を計算して、表情筋の運動を制御するとともに、表情筋の体積保存則や表情筋どおしの衝突の判定および反力の効果も考慮して、実態にできるだけ近い表情筋の運動モデルを構築した。
定義によって構築された表情変形ルールの評価として、個々の表情筋を実際に運動させたときに表出される表情の自然さについて主観評価を実施した。また、EMGの測定データとその際の表出表情を記録し、実施に表情筋モデルをEMGで駆動して、合成される表情が観測されたものに近いかどうかを検討した。加えて、音声信号を利用して新たな客観評価手法を提案した。
平均的な表情筋に個々の人物の表情筋へのバリエーションの付加を可能とする顔モデリングツールを作成した。これは撮影された正面顔画像に対してこのジェネリックな表情筋モデルをフィッティングさせ、近似的に人物の表情筋モデルを作成できるように配慮した。さらに、実際に表情筋を動かしてみて、合成される表情と本人の表情を比較し、表情筋の強度の典型的な組み合わせを設定することによって、喜怒哀楽や微妙な表情の合成が可能となった。
簡単な作業で、標準顔ワイヤフレームで計測された3次元レンジデータにフィッティング可能な顔整合ツールを開発した。また、この整合された個人顔モデルに対し表情合成を行い、音声と同期してリップシンクを実現できる汎用の表情アニメーションツールを開発した。このツールは、音声対話擬人化エージェント作成支援ツールに組み込まれている。
この研究によって得られた表情合成アプリケーションの一部を2005年に開催された愛・地球博において実現した。フューチャーキャストシステムとして提案したこのシステムは、観客参加型のエンタテインメントシステムであり、キャストの情報合成手法に今回の表情合成アルゴリズムの一部を反映させた。

【研究分担者】
島田和幸	鹿児島大学	大学院・医歯学総合研究科	教授	(Kakenデータベース)