Discovery Sagaサイレントキーワード俯瞰

本年度は以下の研究を行った。
(1)アプリケーションの開発
開発した机システムを用いて以下のようなアプリケーションを開発し評価を行った。
・理科アプリケーション
利用者が理科の教科書を開くと、教科書にあらかじめ添付されたバーコードを認識し、対応するビデオあるいはCGシミュレーションを机上に表示する。利用者は自分自身の手で、投影された電子情報(ビデオやCG)を直接操作する事ができた。なお本研究では従来の研究ではできなかった、実時間(20frame/sec)での認識を手認識を実現した。
・図形描画システム
両手を利用して図形を構画するシステムを開発した。図形の位置指定、移動・回転操作、コピー・ペーストなどがすべて手だけで実現できた。左手周辺には本研究で新たに開発した円形メニューが表示される。また、ジェスチャ認識による図形指定(形と大きさ)、把持操作、メニューの表示・非表示などを実現した。そして既存の図形描画ツールとの被験者実験を行った結果、簡単な図の描画では既存のシステムに比べ、ほぼ同等かそれ以上の成績を収める事が分かった。
(2)両手ジェスチャ認識の高機能化
これまでに開発した実時間手認識手法を用いて、さらに高機能なジェスチャ認識を実現した。具体的には隠れマルコフモデル(HMM)を用いて、10種類のジェスチャ認識を行えるようになった。ジェスチャの種類にもよるが平均では95%以上の認識率を達成した。このジェスチャ認識手法は上記の図形描画システムに利用された。
以上のように、3年間の研究により、当初の目的通りの机システムとそのアプリケーションの開発を行う事ができた。今後は、このシステムの実用化(低価格化、およびコンパクト化)を考えていきたい。また、遠隔に離れた2つの机システムを通信で結び、遠隔教育の実験を行えればと考えている。