【研究分野】ヒューマンインタフェース・インタラクション

【研究領域課題番号】18F18735 (KAKENデータベースで見る）

【研究キーワード】

バーチャルリアリティ / アバター / ソフトウェアエンジニアリング / マーシャルアーツ / クロスモダリティ / オーグメンテッドリアリティ / ユーザインタフェース

【研究成果の概要】

本研究では、VR・ARアプリケーションの構築を容易にするための知見の創出を目的として、VR・AR開発者向けのアンケートを作成し、ソフトウェアエンジニアリングに関する調査を行った。現在もデータ収集・解析を継続しているが、VRアプリケーションを構築するためのケーススタディを実施し、ソフトウェアエンジニアリングに関する実践的な知見を得ることができた。
まず、フルボディアバター向けのスタンドアロン型VRシステムを開発し、VRユーザインタフェースを構築するためのアプローチとして物理シミュレーションの活用を提案した。この成果は、2019年に開催されたIEEE VRカンファレンスにて発表を行った。
次に、フルボディアバターツールの実施例として、マーシャルアーツのVRトレーニングアプリケーションを開発した。これは、物理的にシミュレートされた仮想の対戦相手を格闘技のトレーニングに活用する、先駆的な試みといえる。
さらに、クロスモダリティを活用してユーザ体験を向上する、疑似的な重さ感覚を提示するアプローチについて検討を行った。これらマーシャルアーツのVRトレーニングアプリケーションと疑似触覚アプローチについては、それぞれ2020年に開催されたIEEE VRカンファレンスにて発表した。

【研究種目】特別研究員奨励費

【研究期間】2018-11-09 - 2020-03-31

【配分額】1,100千円 (直接経費: 1,100千円)

【研究分野】オラリティと社会

【研究領域課題番号】17KT0142 (KAKENデータベースで見る）

【研究キーワード】

物理音場再現 / 高速1bit信号 / 空間インパルス応答 / スピーカアレイ / マイクロホンアレイ / 音像定位 / 局所音場合成 / 物理音場合成 / 臨場感音響 / 立体音響 / バーチャルリアリティ / ユーザインターフェース / 制御工学 / 機械力学・制御 / 応用数学

【研究成果の概要】

音声の持つ主要な音空間情報（音源位置，音源指向性）に着目し，それらを含む音場を物理的に合成可能かつ，聴取者位置に合わせて動的に音場を制御することで，聴取者が身体的に自然な聴取（身体への装着がなく，聴取者移動を許容）が可能なシステムの提案を行う。本研究では，高速1bit信号直接駆動方式を用いた没入型の多チャンネル音場合成システムの構築と，これらを用いた動的局所音場制御手法を提案した。さらに，局所音場制御のための効率的な空間インパルス応答測定手法を提案し，シミュレーションと実測実験によって局所領域に関して近接した少数マイクロホン情報から直接音と初期反射音のモデル化が可能なことを示した。

【研究種目】基盤研究(C)

【研究期間】2017-07-18 - 2020-03-31

【配分額】4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)

【研究分野】麻酔科学

【研究領域課題番号】17K11109 (KAKENデータベースで見る）

【研究キーワード】

難治性疼痛 / バーチャルリアリティ / 人工知能 / 医療・福祉 / ユーザインターフェース / リハビリテーション

【研究成果の概要】

アジャストメント可能で多彩な治療タスクを装備したバーチャルリアリティ鏡治療システムを開発した。IoTとAIにより、痛みと習熟度に応じた治療の最適化や治療意欲の向上に有効な激励・教育システムの実装を目指した。痛みの増悪因子を特定するIoTによるデータの収集・分析の機械学習システムを開発し、健常者で良好なシステムの操作性を検証した。激励・教育は治療成果の視覚化とフィードバック・システムを作成し、単調作業の継続的な実施に与える効果を健常者において検証した。諭す機能やソーシャルサポートについても健常者においては検証ができた。難治性疼痛患者においての効果の検証はできなかった。

【研究の社会的意義】

有効な治療法がない難治性疼痛患者を対象にしたバーチャルリアリティ（VR）鏡治療システムへ患者の治療意欲を維持させる仕組みを実装した。治療タスクの種類が増え習熟度に応じて難易度の調整が可能となった。また自らの状態への気づきを促す、正しい行為を褒める、逸脱した行為を諭す説得技術を用いた機能は患者の治療継続につながる可能性を示唆した。一方、痛みの増悪因子の特定のためのIoTを活用したデータ収集システムとデータ分析の機械学習システムを構築できた。痛みを感じながら治療タスクを行なう状況でも、痛みの誘発を最小限に抑えて、しかも治療意欲を向上させる治療システム構築の研究成果は社会的にも意義がある。

【研究種目】基盤研究(C)

【研究期間】2017-04-01 - 2020-03-31

【配分額】4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)

【研究分野】ヒューマンインタフェース・インタラクション

【研究領域課題番号】16K12472 (KAKENデータベースで見る）

【研究キーワード】

触覚インタフェース / 仮想力覚 / ヒューマンコンピュータインタラクション / ユーザインタフェース / バーチャルリアリティ / 触覚フィードバック / 対話デバイス / 人間拡張

【研究成果の概要】

人間の触覚の非線形性により非対称に振動する振動子を把持すると仮想的な力覚を感じることを応用し、フィードバックやナビゲーション手段等に適用し、利用者に行き先方向に牽引力を感じさせるなどの応用可能性について検証した。 積層型ピエゾ振動子を用いた一次元振動子は安定した性能を有し、利用者を左右に誘導するなどの応用に適することが検証できた。振動子を複数個組み合わせ二次元空間での仮想力覚提示、および機器を把持するのではなく接線方向に振動を与えることでも仮想力覚が提示可能かにについて検証した。二次元空間での力覚提示は一次元と比較して正確さが一部及ばないが、行動誘引応用などへの適用可能性を検証できた。

【研究種目】挑戦的萌芽研究

【研究期間】2016-04-01 - 2018-03-31

【配分額】3,510千円 (直接経費: 2,700千円、間接経費: 810千円)

【研究分野】ヒューマンインタフェース・インタラクション

【研究領域課題番号】16H05870 (KAKENデータベースで見る）

【研究キーワード】

表情認識 / ユビキタス光センシング / HMD / 表情計測 / 反射型光センサ / 機械学習 / 表情識別 / 頭部装着型ディスプレイ / 幾何形状推定 / バーチャルリアリティ / 光センシング / ユーザインターフェース

【研究成果の概要】

本研究課題では，外部からの光学的な観測が難しい頭部装着型ディスプレイ内部での計測が可能な組み込み型光センサと機械学習を用いた表情認識技術を高度化することを目的に研究を推進した．基本表情のクラスを識別する手法を発展させ，表情の表出強度を推定し，合成した表情をアバターに反映できることを示した．また，基本表情クラスを識別するのみでは無く，低次元の光センサ情報から，高次元の顔表面の特徴点の位置を3次元再構成できることを確認した．更に，表情の多様性を考慮した機械学習として，視線や頭部方向を考慮した学習データセットを構築することで表情識別精度を頑健にできることを示した．

【研究の社会的意義】

本研究では学習データの多様性を考慮した機械学習を行なうことで，没入型バーチャル環境における表情認識精度を頑健にできることを示した．こうした，没入型バーチャル環境に対してユーザの身体情報を反映する技術基盤は，我々が没入型バーチャル環境においてソーシャルコミュニケーションを行なう上で必要となるものであり，実環境とバーチャル環境をシームレスに接続することに貢献するものである．また，本研究課題で開発を行なった組み込み型光センサと機械学習を用いる手法は，低次元のセンサ情報から高次元のユーザの状態を推定することにも活用できるため，様々な身体情報の認識を行なっていく上で重要な技術になると期待される．

【研究種目】若手研究(A)

【研究期間】2016-04-01 - 2020-03-31

【配分額】19,890千円 (直接経費: 15,300千円、間接経費: 4,590千円)

【研究分野】ヒューマンインタフェース・インタラクション

【研究領域課題番号】16H01739 (KAKENデータベースで見る）

【研究キーワード】

拡張現実感 / プロジェクターシステム / ユビキタス情報環境 / バーチャルリアリティ / ユーザインタフェース / ユーザインターフェース

【研究成果の概要】

映像プロジェクタをベースに，ビット情報を画素の高速点滅による不可視情報として投影する「情報投影技術」の確立のため，以下の３つに取り組んだ。(1)インタラクティビティの向上：プロトコルを精査し，FPGAによる高速処理を実現した。(2) 情報通信の効率化と情報投影の高画質化：高効率符号化手法をソフトウェアで実現した。LEDバックライトの制御で全画面同期の画質劣化を抑えた。赤外光源による画質劣化抑制手法の可能性を明らかにした。(3) 情報投影基盤技術の確立：FPGAとLED光源制御を統合したシステムを構築した。また，一般のLCDに色変調をかけることで，情報投影技術の思想を汎用性の高い機器に拡張した。

【研究の社会的意義】

情報投影技術の確立は，これまでソフトウェアでデータを生成することで得てきた知見を集大成するものであり，さまざまなトレードオフの関係を体系化する学術的な意義がある。また，情報投影技術の基盤となるハードウェアが完成することで，拡張現実感を始めとするヒューマンインタフェース技術の発展に与える影響は少なくない。特に，デジタルサイネージやミュージアムでの展示物に対する情報提示，テーブルトップインタフェースなどの大画面映像において，複数の受信機（個人のスマートフォンから，今後の研究が期待されるロボット群まで）をキャリブレーションなしで使えるようになるメリットは大きい。

【研究種目】基盤研究(A)

【研究期間】2016-04-01 - 2019-03-31

【配分額】27,430千円 (直接経費: 21,100千円、間接経費: 6,330千円)

【研究分野】知覚情報処理

【研究領域課題番号】26280062 (KAKENデータベースで見る）

【研究キーワード】

3次元顔形状復元 / リップシンク合成 / 経年変化顔動画像合成 / 似顔絵からの実写復元 / キャラクタ合成 / 肥痩顔画像合成 / 犯罪捜査支援システム / パッチベース画像合成 / 感性情報学 / 画像、文章、音声等認識 / バーチャルリアリティ / マルチモーダルインタフェース / ユーザインタフェース / 経年変化顔合成 / 半透明物体のモデリング / 曲率依存反射関数 / 皴画像合成 / 表情分析・合成 / ３Dアニメーション

【研究成果の概要】

本研究課題では、主として次の６つの研究成果をあげることができた。
１）犯罪捜査に威力を発揮する経年変化や肥痩変形を考慮したモンタージュシステムの実現、２）１枚の顔画像のみからの小規模なデータベースを利用する高精度な３次元顔形状復元システムの実現、３）エンタテインメントシステム応用としての他言語音声への３次元モデルを一切使用しないビデオリシャッフリングに基づく顔動画像リップシンクシステムの実現、４）個性あるダンスキャラクタを自動生成可能なインスタントキャスティングシステムの実現。５）表情変化時の個性を反映可能な経年変化ビデオ生成システムの実現。６）似顔絵の個性を反映した実写映像復元の実現である。

【研究種目】基盤研究(B)

【研究期間】2014-04-01 - 2017-03-31

【配分額】16,250千円 (直接経費: 12,500千円、間接経費: 3,750千円)

【研究分野】ヒューマンインタフェース・インタラクション

【研究領域課題番号】26700017 (KAKENデータベースで見る）

【研究キーワード】

ヒューマンコンピュータインタラクション / ユーザインタフェース / 二次元通信 / バーチャルリアリティ / コンピューティング / 近接エネルギー伝送 / 小型移動ロボット

【研究成果の概要】

本課題では，平面を移動する物体への床面からの近接での非接触電力伝送による電力供給及び電力の時空間操作による移動体の位置制御基盤構築を目指し，期間中では5つの成果を創出できた．具体的には， 1. カード型インタフェースを用いた移動体の制御手法，2. 近接でのセンシング手法，3. 機械学習を用いた二次元通信システム上でのデバイス位置・回転計測手法，4. 移動体の軌道シミュレーション，5. 集束超音波装置を用いた実世界物体に対する駆動手法，を確立した．

【研究の社会的意義】

本課題は外部より移動体に対へのエネルギー伝送技術の確立を目指したものである．この技術により，移動体を軽薄短小化できるため，移動体自体は安価で簡便に構成でき，組み替えも柔軟に行え，安全で長期的に運用できるシステムを構築できる．狭い住宅環境において物体を搬送する移動体制御への応用や，子供の知育向けシステムとしての応用が期待できる．

【研究種目】若手研究(A)

【研究期間】2014-04-01 - 2019-03-31

【配分額】21,450千円 (直接経費: 16,500千円、間接経費: 4,950千円)

【研究分野】科学教育

【研究領域課題番号】21650203 (KAKENデータベースで見る）

【研究キーワード】

バーチャルリアリティ / ユーザインタフェース / 天文教育 / 自然科学教育

【研究成果の概要】

平成22年度はまず、柏崎中学校において授業を実施した。生徒を、提案システムを利用した実験群と、提案システムからCG映像を削除した統制群に分け、それぞれの群にプレテストとポストテストを実施した。その結果、地球の自転の理解に関して、実験群の点数の上昇が、統制群の点数の上昇よりも有意に高い傾向があることがわかった。しかし、学習の様子を観察した結果、システムには、俯瞰視点(学習者がタンジブル地球儀を見る視点)と地上視点(地上から空を見上げた状況をCGによって合成した映像)を結びつけることが困難であるという問題点があるという知見を得た。そこで、俯瞰視点と地上視点を結びつける補助として、天球映像を提示することを考案した。これは、半球をスクリーンとして利用し、上部からプロジェクタで太陽の動きを投影する装置である。この装置の有効性を確認するために、被験者を、装置を利用した実験群と利用しない統制群の2群に分けて比較実験をおこなった。プレテストとポストテストによって評価をおこなったが、提案した装置の有効性を示すことはできなかった。被験者の感想や実験の様子を観察した結果、天球映像をあまり参照しない学習者が多いことがわかった。この問題を改善するためには、学習課題や学習のためのインストラクションを見直して、それぞれの装置の機能や目的を意識して学習できるようにする必要がある。また、学習の様子をより詳細に分析し、天文学習において何が問題となっているのかということに対する理解を深める必要がある。

【研究種目】挑戦的萌芽研究

【研究期間】2009 - 2010

【配分額】3,200千円 (直接経費: 3,200千円)

【研究分野】メディア情報学・データベース

【研究領域課題番号】21680011 (KAKENデータベースで見る）

【研究キーワード】

ヒューマンインターフェイス / 複合現実感 / 五感インターフェイス / バーチャルリアリティ / マルチモーダル / ディスプレイ / ユーザインタフェース / マルチモーダルインタフェース / 嗅覚提示 / 味覚提示 / 感覚相互作用 / 五感情報提示 / 五感ディスプレイ

【研究成果の概要】

本研究の目的は,感覚相互作用を利用して,少ない種類の化学物質を用いて多様な匂いや味の提示を実現可能にする感覚提示手法とシステムを実現することである.嗅覚や味覚は,元々認知に対して様々な変動性や不安定性を伴う.本申請では,他の感覚刺激の影響を受けやすいことを逆に利用し,提示する実際の匂いや味に視覚情報を組み合わせて提示することで,多彩な匂いや味を認識させる手法の提案と実証を行う.

【研究種目】若手研究(A)

【研究期間】2009 - 2011

【配分額】26,650千円 (直接経費: 20,500千円、間接経費: 6,150千円)

【研究分野】知能機械学・機械システム

【研究領域課題番号】21760202 (KAKENデータベースで見る）

【研究キーワード】

マイクロマシン / ユーザーインターフェース / 知能機械 / バーチャルリアリティ / マルチモーダルインターフェース

【研究成果の概要】

皮膚を機械的に変形、皮膚内部に分布する触覚受容器群を時空間的に刺激し、触覚情報を人に提示する触覚ディスプレイや、大容量のマイクロバルブの実現には、大変位マイクロアクチュエータの開発が不可欠である。本研究では特に、MEMS技術を用い、上下面で断面積の異なるマイクロチャンバ内に非圧縮性流体を封入した変位増幅機構を有する、変位増幅型マイクロアクチュエータを実現し、特性評価を行った。

【研究種目】若手研究(B)

【研究期間】2009 - 2010

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)

【研究分野】医療社会学

【研究領域課題番号】20390148 (KAKENデータベースで見る）

【研究キーワード】

医学・薬学教育 / 気管挿管 / 救命 / 機械力学・制御 / バーチャルリアリティ / ユーザインタフェース / 医療・福祉 / 医療教育 / CSCW / グループウェア

【研究成果の概要】

本研究の目的は喉頭展開の際の喉頭鏡の動かし方を教示するための触覚提示装置を開発することである。このために、まず教示者の持つ喉頭鏡と習得者の持つ喉頭鏡の動作を機構的に同期させることのできる「位置・動作伝達型喉頭鏡」と、気管挿管実施者の視線とほぼ一致した映像を撮影することの出来る視線一致カメラを開発し、実験により有効性を確認した。現在は、習得者の手の外側から力覚を提示することの出来る、「外装型力覚提示装置」を開発している。

【研究種目】基盤研究(B)

【研究期間】2008 - 2010

【配分額】18,850千円 (直接経費: 14,500千円、間接経費: 4,350千円)

【研究分野】メディア情報学・データベース

【研究領域課題番号】19680006 (KAKENデータベースで見る）

【研究キーワード】

視覚 / 前庭感覚 / 感覚統合 / マルチモダリティ / バーチャルリアリティー / ユーザインターフェース / 認知科学 / バーチャルリアリティ / Galvanic vestibular stimulation / Ocular torsion / Video-oculography / Eye movement and Quantization

【研究成果の概要】

本研究の成果は機能的電気刺激等による前庭感覚提示の生理学的知見の解明,光学的シャッター方式による振動成分の抽出を行うStopMotion Goggleの開発,そしてオプティカルフローをリアルタイムで検出するための携帯型情報端末でも動作可能なGPUを利用した特徴点抽出ライブラリの開発による.これらの要素技術によって,我々生物が知覚しているような安定した「視覚・前庭感覚統合伝送システム」を様々な場面に応用するための基盤技術の開発に成功した.

【研究種目】若手研究(A)

【研究期間】2007 - 2010

【配分額】21,970千円 (直接経費: 16,900千円、間接経費: 5,070千円)