深層学習モデル間の演算体系確立と大規模分散学習への応用
【研究キーワード】
深層学習 / メタ学習 / 画像認識 / 分散学習 / 代数学
【研究成果の概要】
2021年度は、前年度に引き続き、複数の深層ニューラルネットワークを統合するためのメタ学習法および、学習済みの深層学習モデルの性質を解明するための敵対的攻撃手法の研究を実施した。前者については、話者照合モデルと画像認識モデルの統合を検討したが、音声と画像のデータの違いから、2つの相異なるモデルを統合する損失関数の設計にまだ問題があることが明らかとなり、検討を続けている状態である。音声と画像それぞれの学習は、同じアルゴリズムで動作するものの、2つを統合した際には性能の劣化が見られ、解決方法を模索している。後者については、話者照合モデルに対して、信頼領域法と呼ばれる最適化手法を導入した、新しい敵対的攻撃アルゴリズムを提案した。提案のアルゴリズムは、前年度の2次最適化に基づいたアルゴリズムの改良版という位置付けであり、最適化の各ステップにおけるステップサイズを動的に決定するものである。話者照合モデルに対する敵対的攻撃アルゴリズムとしては新規性が高い。評価実験の結果、前年度の手法よりも性能が改善することが確認できた。評価はVoxCelebデータセットと呼ばれる、大規模な話者照合データセットでおこない、新たなアルゴリズムによって、従来よりも小さい摂動で、最新のニューラルネットワーク(話者照合向けの畳み込みニューラルネットワークおよびEmphasized Channel Attention, Propagation and Aggregation(ECAPA)機構を持つ時間遅延ネットワーク)の出力を反転させることが可能であることを示した。
【研究代表者】
【研究種目】挑戦的研究(萌芽)
【研究期間】2019-06-28 - 2023-03-31
【配分額】6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)