Discovery Sagaサイレントキーワード俯瞰

研究の目的デジタルビデオやコンピュータ環境が大きく進展しホームビデオに代表されるように個人の体験をデジタル映像として記録することが極めて簡単にできるようになった。蓄積媒体容量も拡大が著しく、個人が大容量の映像データを扱えるようになってきている。量的な拡大が著しく進む一方、それらを扱うための技術はまだとても未熟な状態にある。ホームビデオを何十巻と記録しながら、あとから見ることができずにおきっ放しになっているというのは多くの人に共通する問題である。さらに、デバイスの進歩が今後続けば、小型のウエアラブルカメラにより、個人の体験映像を一生に相当するくらい長期間常時記録するという状況も現実的になろう。ウエアラブルカメラで撮像した映像(ウエアラブルビデオと呼ぶことにする)は、ホームビデオ以上に映像を要約処理するための技術が必須となる。
本研究では、個人体験映像を記録したホームビデオ、ウエアラブルビデオを対象にし、その個人にとって重要なところを要約抽出するための基盤技術の研究を行った。本研究は極めて長い時間の映像を短い時間にまとめる超高圧縮につながる技術である。映像検索は大変活発な研究領域であるが、通常動きや色程度の客観的な低レベルな評価指標しか持たない。それに対し、本研究は体験映像の断片断片の重要性の評価を様々な観点から行うアプローチである。以下の研究を行った。
・複合情報を取得するウエアラブルイメージングシステムの構築
ウエアラブルビデオを常時記録するシステムを構築する。カメラ、マイクばかりでなく、位置センサ、動きセンサなどの小型で簡易な個人行動の計測を行うためのセンサも複合的に組み合わせたシステムを構築した。また、Webや文書までも同時に記録し、検索の手がかりとすることができた。ケータイ電話を制御のためのコントローラとして利用することもできる。
・コンテンツに基づくインデクシング
構造の不明瞭なホームビデオのショット分割を行った
・複合センサ情報を用いたウエアラブルビデオのコンテキストに基づくインデクシング
ウエアラブルイメージングシステムにより取得された映像、各種センサ情報、文書画像を用いて、膨大なデータへ効率のよい検索を行うことができた。
・街データベースとの統合利用
街の施設、店のデータが網羅的に記録されているデータベースを用いて、GPSによる位置データを利用して店の名前やジャンルをもとにしたインデクシングを行うことができた。

【研究分担者】
久保田彰	東京大学	大学院・新領域創成科学研究科	特別研究員(PD/">(Kakenデータベース)