Discovery Sagaサイレントキーワード俯瞰

視覚情報処理 / 言語情報処理 / ニューラルネットワーク / 感性情報 / 対話システム / キャプション自動生成 / 転移学習 / 畳込みニューラルネットワーク / 分散表現 / 連想メモリ

視覚情報と言語情報の統合的な処理機構の開発と、入力画像からの常識の自動獲得に関しては、画像を感性豊かに説明するキャプション自動生成システムの構築を行った。本システムは、物体の感性語を推定する際、画像特徴だけでなく物体の名詞情報も活用している。また表現力の高い感性語を生成するための感性語変換機構も有している。
自然言語を生成できるニューラルネットワークの開発に関しては、文脈を考慮した会話文の自動生成が可能な対話システムの構築を行った。さらにこれを、共感と助言に着目した自動相談システムへ発展させた。

従来より学術的には、画像のような視覚情報と言語情報は別々に扱われることが多かった。しかし実生活やTV、書籍、Webなど、ほとんど場合、これらは分離されることなく総合的に扱われている。
本研究の目的は、画像と言語を統合的に扱う方法を考案することにある。これは社会からの需要も高く、また学術的にも画像のようなパターン情報と言語のようなシンボル情報を統合処理するという意味で高い意義を有している。

瞳孔面積 / 視点移動 / 瞬目 / 課題解決 / 音環境 / 顔表情 / 感性情報 / 生体情報 / 興味 / 番組評価 / ニューラルネットワーク / 皮膚温度

本研究では、マルチメディア学習環境における、学習者の表情などの感性情報や眼球運動などの生体情報を計測できるシステムを製作し、学習行動の評価分析方法を開発を検討した。さらに、学習におけるシステム環境の問題点や認知負荷を調べ、学習者の支援を行う方法についても検討した。本研究では、以下の内容を検討した。
(1)瞳孔面積による興味印象の評価手法の開発:映像に対する興味関心の変化を計測するために、瞳孔面積や瞬目率、視聴者の興味度合いを同時計測するシステムを開発し、これらに相関関係があることを明らかにした。
(2)瞳孔面積計測における瞬目の除去と復元手法の開発:瞳孔面積の計測中の瞬目による影響を除くために、瞬目復元のモデルを構成した。
(3)鼻部皮膚温度による学習活動の評価:学習課題時の活動を、サーモグラフィーによる鼻部温度によって評価し、鼻部温度低下量と学習成績との相関関係を明らかにした。
(4)顔の特徴点による顔表情程度の推定:顔の表情を特徴づける特徴点の動きによって、表情の分類とその表情の程度を推定するニューラルネットワークモデルを検討した。
(5)眼球情報に基づく精神活動の評価:課題解決における心的負荷や情意的な変化を検討するために、眼球情報の変化を計測した。指標追従課題とドライブシミュレータにおける運転操作を与えた条件で、計算課題などの音声課題を与え、二重課題条件での変化を基に、眼球情報の変化モデルを構築した。
(6)音楽環境と音楽習慣の関係の検討:BGMなどの音環境が、被験者の日常的な音楽習慣によって異なることを、実験によって明らかにした。

ニュートラルネットワーク / 感性情報 / 自動車 / 操安性 / フィーリング解析 / 統計解析 / 満足化設計 / ニューラルネットワーク / ファジィ集合論 / アァジィ集合論

本研究では、感性の定量的な目標レベルを設定し、それを達成するための人工物の設計変数を定量的に決定するという、感性情報に基づく多目的満足化設計法を研究開発する。人工物の設計変数や応答諸特性・機能と感性情報の関係が特に複合的でありかつ非線形な自動車の操縦性・安定性(操安性)フィーリング問題を具体的な対象として、その関係を定量化し、さらに人工物設計へ定量的に感性情報を反映させるための手法を開発する。
昨年度は、まず、階層型ニュートラルネットワークによる学習から、感度解析と統計解析に基づく寄与の大きな項目の絞り込み、さらに学習済みネットワークから満足設計解の存在領域を多次元デザインウインドウとして表示するソフトウエアをWindows環境に構築した。そのソフトウエアを用いることにより、感性情報の処理過程を大幅に簡略化することが可能となった。最終年度の本年度は、より非線性の強いデータの処理を可能とするために、リカレント型のニュートラルネットワークを上記ソフトに組み込んだ。また、本手法の有効性を確認すべく、自動車の腐食寿命予測問題に適用し良好な結果を得た。最後に、これまでの研究成果のとりまとめを行った。

【研究分担者】
室田真男	東京工業大学	大学院・社会理工学研究科	助教授	(Kakenデータベース)
西方敦博	東京工業大学	教育工学開発センター	助教授	(Kakenデータベース)
清水康敬	東京工業大学	大学院・社会理工学研究科	教授	(Kakenデータベース)
青柳貴洋	東京工業大学	教育工学開発センター	助手	(Kakenデータベース)

【研究分担者】
関東康祐 (関東泰祐)	豊橋技術科学大学	機械システム工学系	助教授	(Kakenデータベース)
堀江知義	九州工業大学	情報工学部	助教授	(Kakenデータベース)
矢川元基	東京大学	大学院・工学系研究科	教授	(Kakenデータベース)
古川知成	東京大学	大学院・工学系研究科	講師	(Kakenデータベース)
塩谷隆二	九州大学	工学部	講師	(Kakenデータベース)