【研究領域課題番号】18H03201 (KAKENデータベースで見る）

【研究キーワード】

深層学習 / カーネル法 / 汎化誤差解析 / ノンパラメトリック統計 / モデル圧縮 / 機械学習 / 確率的最適化 / 統計的学習理論 / 汎化誤差 / 数理統計 / 高次元統計 / 学習理論 / 構造解析 / 最適化

【研究成果の概要】

深層学習は現在機械学習でも中心的な役割を果たしており，多くのタスクで高い性能を示している．一方で，その原理への理論的理解は進んでおらず，ブラックボックス化しているのが研究開始当初の状況であった．その状況を改善するために，本研究では深層学習の原理解明に関して以下の研究成果を得た．(1) カーネル法的視点による深層学習の圧縮型汎化誤差解析，(2) 統計自由度による最適なモデル構造の探索とモデル圧縮への応用，(3) 新しい確率的最適化手法の提案，(4) 深層学習のカーネル法への優位性の理論的証明．これらの研究を通して深層学習が他の方法に比べてなぜ良いのかという問いへ多くの知見を得ることができた．

【研究の社会的意義】

深層学習は機械学習の社会実装が進む中，社会的重要な技術となっている．一方でその原理が解明されずに応用だけ進むことは，制御可能性や説明可能性という観点からも望ましくない．本研究では，種々の数学的道具を用いて深層学習の原理解明に貢献し，また理論の応用として最適なモデルの探索やモデル圧縮法を提案した．研究成果により研究開始時期と比べて非常に多くの理論的知見が得られた．これは，深層学習をホワイトボックス化するという意味で社会的意義が大きい成果である，

【研究種目】基盤研究(B)

【研究期間】2018-04-01 - 2022-03-31

【配分額】17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)

【研究分野】統計科学

【研究領域課題番号】26280009 (KAKENデータベースで見る）

【研究キーワード】

統計数学 / データ解析 / 高次元 / アルゴリズム / 統計的学習理論 / 高次元データ / 機械学習

【研究成果の概要】

高次元特有の問題としてハブ現象を研究し，その理論的な理解とハブ解消法の提案を行った．また，ツリーデータの解析や曲がった距離を用いたデータ解析など，ユークリッドベクトルとは異なるデータを扱う方法に関して研究を行った．さらに，高次元の密度関数を行う方法として，カーネル法に基づく指数分布族を提案し，その推定法を提案した．

【研究の社会的意義】

ビッグデータ時代になり高次元で複雑なデータを扱う必要性が高まったが，そのようなデータの性質や解析法の関して，理論的な知見や有効な方法が成果として得られた．今後，さまざまな分野に現れる高次元データを扱う際にこれらの成果が貢献できると考える．

【研究種目】基盤研究(B)

【研究期間】2014-04-01 - 2019-03-31

【配分額】12,350千円 (直接経費: 9,500千円、間接経費: 2,850千円)

【研究分野】統計科学

【研究領域課題番号】25730013 (KAKENデータベースで見る）

【研究キーワード】

構造的正則化 / テンソルモデリング / ベイズ推定 / 再生核ヒルベルト空間 / ガウシアンプロセス / 確率的最適化 / 高次元統計 / 統計的学習理論 / 機械学習 / 統計的学習 / 深層学習 / スパース推定 / 確率密度比 / ビッグデータ / 低ランクテンソル推定 / 交互最適化 / 交互方向乗数法 / ガウシアンプロセス事前分布 / ベイズ統計 / 交互方向定数法 / 低ランク行列

【研究成果の概要】

近年あらゆる分野において扱うデータは急速に大規模化している．また 同時に，巨大なデータは内在的に多様な構造を有するようにもなってきている．そのような多量かつ多様なデータを扱うため，構造的スパース性に着目し，それを利用した推定方法を体系的に提案・分析した．そのため，構造的正則化学習と呼ばれる学習方法を高速に解くための確率的最適化手法として，確率的交互方向乗数法を提案した．また，テンソルモデリングと呼ばれているデータ間の関係性を記述するモデルを考察し，ミニマックス最適性と呼ばれる統計的な最適性を満たす推定量を構築した．以上の研究トピックを通して理論から応用まで包括的な研究を行った．

【研究種目】若手研究(B)

【研究期間】2013-04-01 - 2018-03-31

【配分額】4,160千円 (直接経費: 3,200千円、間接経費: 960千円)

【研究分野】統計科学

【研究領域課題番号】24500340 (KAKENデータベースで見る）

【研究キーワード】

数理統計学 / 機械学習 / 統計学 / 統計的学習理論 / ロバスト統計

【研究成果の概要】

密度比とは，確率密度関数の比として定義される関数である．２つのデータドメインの間のマッチングを行う場合などに有用である．重要な応用例としては，共変量シフトの下での回帰分析や判別分析，統計的仮説検定，次元削減などが挙げられる．本研究課題では，高次元大規模データ解析への応用を念頭に置き，密度比の統計的な推定精度を向上させるための方法について研究を進めた．さらに，確率分布間の距離を表すダイバージェンスとの関連について研究を進めた．多くの推定アルゴリズムはダイバージェンスを用いて記述することができる．その統計的な有用性について，とくに回帰分析とロバスト統計の視点から，密度比との関連を考察した．

【研究種目】基盤研究(C)

【研究期間】2012-04-01 - 2016-03-31

【配分額】5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)

【研究分野】統計科学

【研究領域課題番号】22700289 (KAKENデータベースで見る）

【研究キーワード】

統計的学習理論 / multiple kernel learning / スパース加法モデル / オンライン最適化 / 双対平均化法 / 近接勾配法 / スパース学習 / 正則化 / 機械学習 / 統計数学

【研究成果の概要】

MKL(MultipleKernelLearning)はLassoやGroupLassoを含む広いクラスの正則化学習法である.画像認識など様々な応用で用いられている.本研究では,MKLの統計的性質を一般的な枠組みで解明し,どのような正則化を用いれば最適性を有するかについて調べた.また,MKLのベイズ的変種を考察し,それが緩い条件である種の最適性を満たすことを示した.さらに,大量データにおける構造的正則化学習に有用なオンライン型のAlternatingDirectionMultiplierMethodを提案し,その収束に関する理論的な正当性を与えた.

【研究種目】若手研究(B)

【研究期間】2010 - 2012

【配分額】3,640千円 (直接経費: 2,800千円、間接経費: 840千円)

【研究分野】統計科学

【研究領域課題番号】20700251 (KAKENデータベースで見る）

【研究キーワード】

統計的学習理論 / 機械学習 / 数理工学 / 統計数学

【研究成果の概要】

統計科学や計算機科学の境界領域である機械学習の分野では,大規模データに潜む確率的な構造を,精度よく推論するための方法が研究されている.一方最適化理論の分野では,コンピュータを高度に用いて,様々な意思決定に現れる数理的な問題を,効率的に計算するための方法が研究されている.本研究では,機械学習と最適化理論を包括する理論基盤を構築し,高度な推論・計算アルゴリズムを開発することを目的としている.

【研究種目】若手研究(B)

【研究期間】2008 - 2011

【配分額】4,290千円 (直接経費: 3,300千円、間接経費: 990千円)

【研究分野】統計科学

【研究領域課題番号】17300089 (KAKENデータベースで見る）

【研究キーワード】

非線形モデリング / 関数データ解析 / 機械学習 / ベイズ理論 / カーネル法 / 計算統計 / 確率過程 / 共分散構造分析 / 因子分析モデル / プロフィールモデル / 多変量確率過程 / 学習理論 / 統計的漸近理論 / モデル選択 / 拡散過程 / 識別・判別 / 空間データ解析 / 統計的学習理論 / 漸近理論 / 非正則モデル / 高次非線形モデリング / モデル評価基準

【研究成果の概要】

高次元データに基づく複雑現象解明を目的として, 非線形多変量解析の理論・方法論の開発研究と応用研究に取り組み, 現象の構造を有効に捉える非線形回帰モデリング, ロジスティックモデルに基づく非線形識別・判別法, リスクを定量的に評価・予測するリスク予測モデルを提唱した. また, 観測・測定されたデータを関数化処理し, 処理した関数化データ集合に基づく解析手法について研究し, 回帰, 識別・判別, 次元圧縮に関して, 関数データ解析手法を提唱することができた. 開発した解析手法は, 生命科学, システム工学, 地球環境科学などの問題解決に応用した.

【研究種目】基盤研究(B)

【研究期間】2005 - 2008

【配分額】14,870千円 (直接経費: 12,800千円、間接経費: 2,070千円)