記憶学習の汎化能力に関する研究
【研究分野】知能情報学
【研究キーワード】
教師付き学習 / 汎化能力 / 誤差逆伝搬法 / 記憶学習 / 許容性 / 射影学習族 / 部分空間情報量基準 / SIC / 適用範囲 / ニューラルネットワーク / 過学習 / 射影学習
【研究成果の概要】
訓練データを用いた教師付き学習の目的は,訓練データ以外の入力に対しても正しく答えられるようにすること,すなわち,高い汎化能力を得ることである.しかし,誤差逆伝搬法に代表される多くの学習法は,訓練データに対する誤差だけを小さくしようとする記憶学習であり,高い汎化能力が得られるという直接的な理論的保証はない.
こうして,次の問題が生じる.第一は直接的には汎化能力を要請していない記憶学習によって高い汎化能力を得ることができる場合がある理由を解明することであり,第二は記憶学習が有効に働く適用範囲を見極めること,第三は適用範囲を更に拡大する方法を開発することである.
第一の問題に対しては,「許容性」の概念を導入することにより明確な解答を与えた.第二の問題に対しては,まず「射影学習族」という概念を導入することにより,無限に多くの種類の学習方式を同時に論じることができる理論的基盤を確立した.そして,許容性と射影学習族の概念を活用することにより,狭義の記憶学習の射影学習族における適用範囲を明らかにした.第三の問題に対しては,多くの解決法があることを示した.まず記憶学習の概念を機械的記憶学習から誤り修正型記憶学習へ拡張し,適用範囲を更に拡大できることを示した.また能動学習の立場から,汎化能力を最も高める最適な訓練データの設計法を与えた.更にモデル選択の立場から,部分空間情報量基準(Subspace Information Criterion : SIC)を提案した.これは,有限個の訓練データに対しても有効性が理論的に保証されたモデル選択基準になっている.このSICを用いることにより,例えば正則化学習の最適パラメータの決定法を与えた.
【研究代表者】