Discovery Sagaサイレントキーワード俯瞰

表情合成 / 感情空間 / 表情認識 / 表情計測 / アクションユニット / テクスチャマッピング / ニューラルネット / リップシンク / コンピュータグラフィックス / 表情分析 / 3次元モデル / モーションキャプチャ / コンピュータビジョン / ヒューマンコンピュータインタラクション / 感性情報処理 / FACS / モデリング / エージェント / 3次元グラフィックス

まず、本研究では、顔面の動きを3次元的に計測するシステムを構築した。これは、被験者の顔面にマーカーを付与し、これを垂直に配置した2台のカメラで撮影して、各特徴点の動きを3次元座標の移動量として取得するものである。このシステムを利用して、心理学分野で提唱されているFacial Action Coding Systemのアクションユニットの定量化や、発話時の口形状の実測を実施した。また頭部を表現した3次元ワイヤフレームの変形と正面画像のテクスチャマッピングにより、計測した原画像の表情をそのままコンピュータグラフィックスとして再現することを可能にした。次のテーマとして、アクションユニットの組み合わせによって実現される6つの基本表情を作成し、この表情記述パラメータからニューラルネットの恒等写像学習によって3次元の感情空間を獲得した。これは、表情記述パラメータの組み合わせによって記述された感情状態を3次元の空間の1点として表現するもので、感情の認識と合成を同時に実現することができる。この感情空間の評価により、空間内では表情が連続的に記述され、心理学的にも妥当な空間が獲得されていることが明かとなった。次に手がけたテーマは、マーカを添付せずに、表情認識する試みである。これは、目と唇領域に注目し、画像の空間周波数情報が表情変形と相関が高いことに着目して、縦方向と横方向の周波数帯域成分から6つの基本感情を推定するシステムを構築した。このシステムでは目と唇領域を自動的に追跡して、フレーム毎に感情状態の認識結果を実時間で出力することができるようになった。実験結果から人間の主観による認識に近い性能を実現できた。

仮想操作環境 / 人工現実感 / 形状設計 / CAD / コンピュータグラフィックス / バーチャルリアリティ / 3次元モデル / 力覚ディスプレイ

仮想操作環境を利用した創造的形状設計においては、まず設計者・デザイナ-が思い浮かべた形状設計のイメージをあたかも実世界における粘土の作業や積木の作業のように、容易に3次元モデルとして構築できなければならない。さらに、仮想操作環境での直接操作が形状モデルに対して自由に行なうことができると、形状の変形・加工・修正といった操作がきわめて容易かつ自然に行なうことができる。
このような仮想操作環境を実現するためのインタフェース装置として、研究代表者がすでに提案している空間インタフェース装置SPIDARを用いることにした。この装置は、操作者の指先を4本の糸で吊ることにより操作者の作業意図を計算機に入力するとともに、作業中の形状モデルからの触覚・力覚を指先にフィードバックすることができる.
本研究では、このような3次元形状測定機と仮想操作環境による形状変形加工機能、さらに近年急速に実用化されつつある3次元形状加工機等を有機的に統合した形状設計システムの開発のための技術的課題を解決することを目的とした。
本研究により得られた研究成果は以下の通りである.
1.仮想環境における3次元自由形状の直接操作を実現するための空間インタフェース装置SPIDARの基本性能の向上を計り、操作性の評価を明らかにしたこと。
2.仮想環境における3次元自由形状の加工・設計のための両手協調作業を実現する新しいインタフェース装置の提案とその開発を行なったこと。
3.互いに遠隔地にいる設計者やデザイナ-同志があたかも同一の作業環境にいるような形で設計作業のできる遠隔仮想環境のシステム構成を提案し、そのシステム開発を行なったこと。
4.3次元形状測定機により測定した自由形状の測定データ群から、仮想環境での加工・設計作業に適した自由形状モデルを半自動的に生成する方法とアルゴリズムを開発したこと。

メディア変換 / ヒューマンインタフェース / 表情アニメーション / 3次元モデル / 音声分析 / シナリオ記述 / 音声認識 / テクスチャマッピング / 知的インタフェース / 表情合成 / コンピュータグラフィックス / 音声と画像の同期

計算機の画面上に登場する人物とのフェーストゥーフェースの対話環境を実現するため、表情動画像のシナリオ記述システムとこれに基づくインタフェースプロトタイプの製作を行った。まず、人物頭部は3次元モデルによって記述し、表情はモデルの格子点移動によって表現する。表情アニメーションシナリオは、この表情のキーフレームの配置によって決定される。時間軸上に希望の表情を選択して配置すると、これらの間を滑らかにパラメータ補間が行われアニメーションが実現する。唇に関しては、入力されたテキスト情報の分析が自動的に行われ、各音韻の位置に基づいてキーフレームが決まる。音韻の標準継続長と口形パラメータについては会話のシーンの分析により決定した。音声自体を入力することも可能であり、キーフレームの位置は音声のセグメンテーション結果によって決定できる。このアルゴリズムは独自に開発した安定なものである。この表情アニメーションシステムを電子メールに応用する場合を考えると、利用者はまずメールテキストを入力する。必要な場合にはこれを喋っている音声も入力してやる。するとシステムによって音韻分析と音響分析が行われ、唇の動きに関するキーフレームが決定し画面に表示される。これを参考にして、どの時点でどういう表情をさせるかをアイコンを制御して表情キーフレームを決める。この際、基本表情以外は編集画面をオープンして、パラメータをスライドバーで制御して任意の表情を画面を見ながらインタラクティブに作成する。これを登録して時間軸上に配置すればアニメーションの中に取り込める。この一連の編集プロセスの結果、制御パラメータが送信され、受信側ではメールのメッセージを読み上げる表情と音声の同期したアニメーション画像が再生される。本年度はこのようなインタフェースのプロトタイプをワークステーション上に実装して、ユーザフレンドーなインタフェース環境を実現した。

【研究分担者】
原島博	東京大学	工学部	教授	(Kakenデータベース)
千葉浩彦	淑徳大学	社会学部	助教授	(Kakenデータベース)
山田寛	川村短期大学	教養科目	助教授	(Kakenデータベース)
森島繁生	成蹊大学	工学部	助教授	(Kakenデータベース)

【研究分担者】
林洋一	株式会社オプトン	EOIS研究所	研究員
高松亮	東京工業大学	精密工学研究所	助手	(Kakenデータベース)
河原田弘	東京工業大学	精密工学研究所	教授	(Kakenデータベース)