Discovery Sagaサイレントキーワード俯瞰

実対数閾値 / WAIC / WBIC / 汎化誤差 / 自由エネルギー / 特異学習理論 / 代数幾何

統計的推測において、与えられたデータに対して統計モデルと事前分布の適切さを測る指標のひとつに自由エネルギー（対数周辺尤度の符号反転）がある。自由エネルギーが小さいほど、データ生成分布の周辺確率密度関数と推定された周辺確率密度関数のカルバック・ライブラ距離が平均的に小さくなるので、この最小化を用いて複数の統計モデリングの比較を行うことができるが、その値の算出には一般に膨大な演算量を必要とすることが知られている。この問題を解決するために統計モデルが正則であっても特異であっても自由エネルギーの近似に利用できる広く使えるベイズ情報量規準 WBIC が考案されている。
本研究では情報量規準 WBIC の高精度化を行うことを目標とする。初年度においては次のことを解明した。(1) WBIC の漸近挙動を定めている双有理不変量として実対数閾値がある。混合多項分布の実対数閾値を解明し、事前分布のハイパーパラメータにより相転移を持つことを明らかにした。(2) 縮小ランク回帰モデルにおいて入力の分布が超平面上にあるときの汎化誤差と自由エネルギーの挙動を解明し、その値が入力の見かけの次元には依存しないことを導出した。(3) 回帰関数を推定する問題において、データが独立ではなく、条件つき独立であるときに情報量規準とクロスバリデーションが等価にならない場合があることを明らかにした。
またこれらの研究成果だけでなく、これまでの研究成果を社会全般に還元し広範な用途に役立てるための解説論文の公開も行った。

情報量規準 / 交差検証 / 周辺尤度 / WAIC / WBIC / 汎化誤差 / 自由エネルギー / 実対数閾値 / 漸近挙動 / ゼータ関数 / クロスバリデーション / 汎化損失 / 双有理不変量 / 交差損失 / 情報量規準WAIC / 非負値行列分解 / 汎関数分散 / 代数幾何

ベイズ推測において統計モデルと事前分布の最適化のための規準として周辺尤度と汎化誤差が知られているが、その相違について十分には明らかにされていなかった。本研究では主に４つの研究成果が得られた。(1)事後分布が正規分布で近似できるとき、WAICと交差検証を最小化するハイパーパラメータは平均汎化誤差を最小化する値に近づくが周辺尤度の最大化では近づかない。(2)事後分布が正規分布で近似できない例として非負値行列分解の汎化誤差と周辺尤度を解明した。(3)同じ問題設定において変分自由エネルギーの漸近挙動を解明した。(4)混合正規分布の最強検定を与える自由エネルギーの定数オーダー項の分布を導出した。

データの分析において統計モデルと事前分布をどのように設計したらよいかという問題は実社会においても常に必要になる課題である。この課題に対して情報量規準、交差検証、周辺尤度は、既に広く実用に用いられているが、それらの相違については必ずしも明確にはされていなかった。本研究により、次のことが明らかになった。(1)WAICと交差検証の最小化は平均汎化誤差を最小にするが、周辺尤度最大化ではそうならない。(2)非負値行列分解における汎化誤差と周辺尤度の漸近挙動の上界の値を求めることができる。(3)そのモデルの変分自由エネルギーの値を知ることができる。(4)混合正規分布のベイズ最強検定を作ることができる。