Discovery Sagaサイレントキーワード俯瞰

実対数閾値 / WAIC / WBIC / 汎化誤差 / 自由エネルギー / 特異学習理論 / 代数幾何

統計的推測において、与えられたデータに対して統計モデルと事前分布の適切さを測る指標のひとつに自由エネルギー（対数周辺尤度の符号反転）がある。自由エネルギーが小さいほど、データ生成分布の周辺確率密度関数と推定された周辺確率密度関数のカルバック・ライブラ距離が平均的に小さくなるので、この最小化を用いて複数の統計モデリングの比較を行うことができるが、その値の算出には一般に膨大な演算量を必要とすることが知られている。この問題を解決するために統計モデルが正則であっても特異であっても自由エネルギーの近似に利用できる広く使えるベイズ情報量規準 WBIC が考案されている。
本研究では情報量規準 WBIC の高精度化を行うことを目標とする。初年度においては次のことを解明した。(1) WBIC の漸近挙動を定めている双有理不変量として実対数閾値がある。混合多項分布の実対数閾値を解明し、事前分布のハイパーパラメータにより相転移を持つことを明らかにした。(2) 縮小ランク回帰モデルにおいて入力の分布が超平面上にあるときの汎化誤差と自由エネルギーの挙動を解明し、その値が入力の見かけの次元には依存しないことを導出した。(3) 回帰関数を推定する問題において、データが独立ではなく、条件つき独立であるときに情報量規準とクロスバリデーションが等価にならない場合があることを明らかにした。
またこれらの研究成果だけでなく、これまでの研究成果を社会全般に還元し広範な用途に役立てるための解説論文の公開も行った。

情報量規準 / 交差検証 / 周辺尤度 / WAIC / WBIC / 汎化誤差 / 自由エネルギー / 実対数閾値 / 漸近挙動 / ゼータ関数 / クロスバリデーション / 汎化損失 / 双有理不変量 / 交差損失 / 情報量規準WAIC / 非負値行列分解 / 汎関数分散 / 代数幾何

ベイズ推測において統計モデルと事前分布の最適化のための規準として周辺尤度と汎化誤差が知られているが、その相違について十分には明らかにされていなかった。本研究では主に４つの研究成果が得られた。(1)事後分布が正規分布で近似できるとき、WAICと交差検証を最小化するハイパーパラメータは平均汎化誤差を最小化する値に近づくが周辺尤度の最大化では近づかない。(2)事後分布が正規分布で近似できない例として非負値行列分解の汎化誤差と周辺尤度を解明した。(3)同じ問題設定において変分自由エネルギーの漸近挙動を解明した。(4)混合正規分布の最強検定を与える自由エネルギーの定数オーダー項の分布を導出した。

データの分析において統計モデルと事前分布をどのように設計したらよいかという問題は実社会においても常に必要になる課題である。この課題に対して情報量規準、交差検証、周辺尤度は、既に広く実用に用いられているが、それらの相違については必ずしも明確にはされていなかった。本研究により、次のことが明らかになった。(1)WAICと交差検証の最小化は平均汎化誤差を最小にするが、周辺尤度最大化ではそうならない。(2)非負値行列分解における汎化誤差と周辺尤度の漸近挙動の上界の値を求めることができる。(3)そのモデルの変分自由エネルギーの値を知ることができる。(4)混合正規分布のベイズ最強検定を作ることができる。

特異点 / 代数幾何 / 代数解析 / 学習理論 / 汎化誤差 / 確率的複雑さ / 神経回路網 / ニューラルネットワーク / 佐藤b関数 / 自由エネルギー / 予測誤差 / 特異点解消

神経回路網、混合正規分布、ベイズネットワーク、隠れマルコフモデル、縮小ランク回帰など、階層構造を持つ学習モデルは、情報学における多くの実問題に適用されている。しかしながら、これらの学習モデルは、パラメータから確率分布への写像が1対1ではなく、フィッシャー情報量が縮退する特異点を多く持つために、その予測精度の解析には従来からよく知られた統計的正則モデルの方法を適用することができず、学習誤差や汎化誤差などが未解明であるためにモデル選択や検定などの最適設計法が確立されていない。この学習理論における特異点の問題において、我々は、特異点の代数幾何学的な性質と予測精度との数学的な関係を世界で初めて発見・証明し、その後、いくつかの学習モデルにおいて具体的な予測精度を解明してきた。平成14年度の研究成果としては次の3点がある。1.真の分布と特異点が一致せず、そのカルバツク距離が、サンプル数の(-1/2)乗に比例する場合において、特異点が予測精度に及ぼす影響を解明し、真の分布が特異点からずれている場合にも、特異点の存在によって正則モデルよりも優れた予測能力を持つことを明らかにした。2.特異点を持つ学習モデルの選択において、真の分布が有限の大きさのモデルに含まれている場合にはジェフリーズの事前分布がモデル選択の一致性および予測精度の両面で優れていること、一方、真の分布が有限の大きさのモデルに含まれていないときにはジェフリーズの事前分布は適さないことを明らかにした。3.特異点を持つ学習モデルの一例であるボツルマンマシンについて、代数幾何学的な方法によって、その予測精度を解明した。本研究により、特異点を持つ学習モデルの予測精度の解明および実問題への応用において、数学的基盤が構成された。