Discovery Sagaサイレントキーワード俯瞰

深層モデル / 過剰パラメータ / 統計的推論 / 汎化誤差 / 深層学習 / ガウス近似

本研究の目的は、深層モデルに適用可能な統計的推論法を開発することである。深層モデルには、層の数に関する複雑性とパラメータの膨大性という二つの特徴があり、それらを考慮した推論法を開発するという二つの困難さがある。また層の数に関する技術的課題には、線形モデルやガウス性を用いた近似を解する方法と、深層構造を直接制御する二つの方策がある。これらの方針のもとで以下のような研究の進捗を得た。
1. 線形性やガウス性を用いた近似による深層構造の解析：この方針に基づく解析では、深層モデルを含む一般の(非線形)損失関数を線形近似し、そのモデルの確率的変動をヘッセ行列のスペクトル行列を用いて評価した。この時のヘッセ行列の各要素は従属する場合があるため、その場合に適合するランダム行列理論を用いて評価を行った。結果として、一定の仮定の下での挙動の記述に成功したが、仮定を満たす例が非自明であるため、その部分の解析を進めている。
2. 深層構造を直接制御する解析：この方針では、非凸損失関数の形状と確率的な学習アルゴリズムの性質を考慮し、アルゴリズムが出力するパラメータが止まる集合を特定し、さらにその下でのパラメータ行列の各層ごとのスペクトルを用いて、深層モデルの確率的挙動を記述した。結果として、損失関数の平坦な形状がパラメータの誤差に影響を及ぼすという理論を構築した。
3. 膨大なパラメータの解析：この項目については、いわゆる過剰パラメータの理論の一つである良性過適合の理論に注目し、これらを時系列データやベイズ推定に応用した。結果として、長期記憶を持つような従属データの元でも良性過適合が起こることや、特殊な事前分布に基づくベイズ推定が良性過適合の性質を引き継ぐ事後分布を構成することを明らかにした。

深層学習 / 関数推定 / ノンパラメトリック統計 / 汎化誤差 / ノンパラメトリック統計学 / 学習理論 / ミニマックス最適性 / 機械学習

当該研究計画の概要は、深層学習の原理を説明することができる理論の構築である。深層学習は実用上で高い性能を発揮しているが、その原理は未解明の点が多く、この性能を説明できる理論は未だ発展途上である。
当該研究課題では、以下のような成果を得た: (i)データを生成する真の関数が特異性などの特殊な性質を持つ場合、深層学習の優位性が示されることを証明した。(ii) 深層学習の複雑な非凸損失関数が過学習を回避できることを示す理論を開発した。(iii) 深層学習モデルでも過剰パラメータ下での二重降下現象が起こることを示した。(iv)理論的な知見を用いて非凸最適化問題を解くアルゴリズムを開発した。

深層学習は、その高い性能から強い注目を集め、社会の各所で応用されている重要な技術である。今回のAIブームにおいて、深層学習によって実現する技術は数多い。
しかしながら、深層学習の原理は未だ十分に解明されていないのが現状である。その結果として、深層学習の欠点である膨大な計算コストや、ブラックボックスな挙動などの問題点は、未解決のまま残っている。これらの問題を根本から解決するには、基礎研究を通じて深層学習の原理を理解し、抜本的な解決手法を開発することが望まれる。
本研究はその試みの一端として、深層学習という新しい技術を数学的に記述することを試み、そして深層学習の成功の要因を明らかにする理論を構築した。

記述長最小原理 / MDL原理 / 深層学習 / 情報理論 / MRI / サイバーセキュリティ / 教師あり学習 / 汎化誤差 / スパース学習 / 磁気共鳴画像法 / 超解像 / 汚染ガウスモデル / 進化系統樹 / 圧縮センシング / 情報幾何学 / Markov連鎖 / メタ学習 / スパース重ね合わせ符号 / Markovモデル / 誤り訂正符号 / 局所指数族バンドル / 非負値行列因子分解 / 確率的コンプレキシティ / 機械学習

MDL原理に基づく学習理論の深化と応用について研究を行った．記述長最小原理（MDL原理）の基礎については，Barron and Coverの理論（BC理論）の教師あり学習への拡張と，深層学習との関連について考察した．BC理論と確率的コンプレキシティ（SC）を関係づける研究において，目標モデルを非指数型分布族に一般化することに成功した．その他，スパース学習を応用した誤り訂正符号への深層学習の応用やAMPにおけるダンピングの解析を行った．応用研究としては，主として磁気共鳴画像法（MRI）とサイバーセキュリティ領域を主題とした．

深層学習 / カーネル法 / 汎化誤差解析 / ノンパラメトリック統計 / モデル圧縮 / 機械学習 / 確率的最適化 / 統計的学習理論 / 汎化誤差 / 数理統計 / 高次元統計 / 学習理論 / 構造解析 / 最適化

深層学習は現在機械学習でも中心的な役割を果たしており，多くのタスクで高い性能を示している．一方で，その原理への理論的理解は進んでおらず，ブラックボックス化しているのが研究開始当初の状況であった．その状況を改善するために，本研究では深層学習の原理解明に関して以下の研究成果を得た．(1) カーネル法的視点による深層学習の圧縮型汎化誤差解析，(2) 統計自由度による最適なモデル構造の探索とモデル圧縮への応用，(3) 新しい確率的最適化手法の提案，(4) 深層学習のカーネル法への優位性の理論的証明．これらの研究を通して深層学習が他の方法に比べてなぜ良いのかという問いへ多くの知見を得ることができた．

深層学習は機械学習の社会実装が進む中，社会的重要な技術となっている．一方でその原理が解明されずに応用だけ進むことは，制御可能性や説明可能性という観点からも望ましくない．本研究では，種々の数学的道具を用いて深層学習の原理解明に貢献し，また理論の応用として最適なモデルの探索やモデル圧縮法を提案した．研究成果により研究開始時期と比べて非常に多くの理論的知見が得られた．これは，深層学習をホワイトボックス化するという意味で社会的意義が大きい成果である，

【研究分担者】
三村和史	広島市立大学	情報科学研究科	教授	(Kakenデータベース)
村田昇	早稲田大学	理工学術院	教授	(Kakenデータベース)
長岡浩司	電気通信大学	大学院情報理工学研究科	名誉教授	(Kakenデータベース)