手話翻訳システム構築を目指した手話対話における文単位の認定
【研究キーワード】
日本手話 / 文単位 / 手話翻訳システム / 深層学習 / クラウドソーシング / コーパス / 語彙 / 対話 / 発話単位 / アノテーション / 手話話者
【研究成果の概要】
本研究は，手話翻訳システム構築を目指し，手話対話における文単位を認定することを目的としている．手話翻訳システムの構築を目指すとき，文は翻訳の基本単位となる．驚くべきことだが，自発手話対話の文単位は研究上明らかになっていない．一方で，手話を生活言語とする手話話者の間では文単位は自明のことである．対話における文単位は，文の形をしていないことが往々にある．本研究では具体的に，(1) 文末(TRP)に出現するNMS(非手指動作)要素を手話話者の協力を得て特定し， (2) 深層学習を用いた画像処理技術で文単位を自動セグメンテーションするシステムを構築し，(3) クラウドソーシングを用いて不特定多数の手話話者に文単位認定の結果の適切性を問い，(4) 手話翻訳システムのデザインについて検討することを課題としてきた．これらのうち平成31年度/令和元年は，(1)と(2)に関して，前年度に実施した人でによる文単位（論文等では「発話単位」に呼び換え）のアノテーション結果を深層学習を用いた画像処理で認識することが可能かを検討した．(3)について，前年度実施した「野菜チャレンジ」実験の試みの結果，マイノリティ言語の一つである日本手話はクラウドソーシングによる作業は困難であることを確認した．これは，日本手話の使用者がクラウド（群衆）と呼べるほどいないこと，手話言語学の範疇を理解させてから実験に参加させることが困難であることが理由である．(4)について，自然言語処理の最新の問題を議論し，手話の翻訳システムのデザインについての具体的な案を出し合った．結果として，発話単位に対する品詞アノテーションを人手て付与し，係り受け解析を実施する環境を整えた．
【研究代表者】