Discovery Sagaサイレントキーワード俯瞰

特異点 / 代数幾何 / 代数解析 / 学習理論 / 汎化誤差 / 確率的複雑さ / 神経回路網 / ニューラルネットワーク / 佐藤b関数 / 自由エネルギー / 予測誤差 / 特異点解消

神経回路網、混合正規分布、ベイズネットワーク、隠れマルコフモデル、縮小ランク回帰など、階層構造を持つ学習モデルは、情報学における多くの実問題に適用されている。しかしながら、これらの学習モデルは、パラメータから確率分布への写像が1対1ではなく、フィッシャー情報量が縮退する特異点を多く持つために、その予測精度の解析には従来からよく知られた統計的正則モデルの方法を適用することができず、学習誤差や汎化誤差などが未解明であるためにモデル選択や検定などの最適設計法が確立されていない。この学習理論における特異点の問題において、我々は、特異点の代数幾何学的な性質と予測精度との数学的な関係を世界で初めて発見・証明し、その後、いくつかの学習モデルにおいて具体的な予測精度を解明してきた。平成14年度の研究成果としては次の3点がある。1.真の分布と特異点が一致せず、そのカルバツク距離が、サンプル数の(-1/2)乗に比例する場合において、特異点が予測精度に及ぼす影響を解明し、真の分布が特異点からずれている場合にも、特異点の存在によって正則モデルよりも優れた予測能力を持つことを明らかにした。2.特異点を持つ学習モデルの選択において、真の分布が有限の大きさのモデルに含まれている場合にはジェフリーズの事前分布がモデル選択の一致性および予測精度の両面で優れていること、一方、真の分布が有限の大きさのモデルに含まれていないときにはジェフリーズの事前分布は適さないことを明らかにした。3.特異点を持つ学習モデルの一例であるボツルマンマシンについて、代数幾何学的な方法によって、その予測精度を解明した。本研究により、特異点を持つ学習モデルの予測精度の解明および実問題への応用において、数学的基盤が構成された。

多重度解析 / 神経回路網 / 学習理論 / 関数近似 / 統計的推測 / b関数 / 特異点 / 特異点解消 / ウェーブレット / ニューラルネットワーク / 代数解析 / 自由エネルギー / 確率的複雑さ / 可解モデル / 汎関数測度

音声・画像に代表される高次元空間上に表現された情報の解析・処理・認識・予測を行う問題においてしばしば利用されている離散的多重度解析法について、(1)関数近似誤差および(2)統計的推定誤差を具体的に計算可能にすることが本研究の目的である。それぞれの問題について得られた成果を述べる。
(1)離散的多重度解析法による関数近似誤差については、近似される関数の属する関数空間に依存して、著しく効率的な近似ができる場合と、そうでない場合があることが知られていた。本研究ではこの問題に関して、近似される関数が従う汎関数確率速度を導入し、その速度による平均的な近似誤差を考察するべきことを提唱した。また、この枠組みで関数近似を考察すると、離散的多重度解析法が有効であるかどうかは、近似を行う関数の係数が作る確率空間における相関関数によって定まり、その近似のオーダーが相関係数のオーダーによって決定されていることを明らかにした。この結果は、離散的多重度解析法がどのような情報を対象とする場合に有効であるのかを明らかにしたことを意味している。
(2)離散的多重度解析法による統計的推測誤差は、確率モデル族に導入されるフィッシャー計量が縮退することが原因で従来の統計的推測理論では解明することができなかった。本研究では、代数幾何・代数解析で構成された概念を応用して、この問題を原理的に解決し、また統計的推測制度を解明するための計算アルゴリズムを実現した。具体的には、真の確率密度関数と離散的多重度解析モデルとのカルバック情報量のサンプルに関する平均(学習曲線)が、離散的多重度解析モデルの特異点の不変量であり、それは佐藤幹夫・ベルンシュタインのb関数の零点で与えられることを示し、その零点を具体的に計算する手段として、カルバック情報量を局所化によって代数化した後に広中平祐の特異点解消アルゴリズムを適用する方式を提案した。これによって与えられた任意の離散的多重度解析システムの統計的推測誤差を計算することができる。具体的なモデルについての計算も行った。離散的多重度解析モデルによる統計的推測誤差は統計的正則モデルによる推定誤差よりも一般的に小さくなることも証明した。
以上を要するに、本研究は、神経回路網、混合正規分布、離散ウェーブレット等の名称で広く情報科学に用いられている階層的な学習モデルの数学的基礎を初めて厳密に確立したものであり、また学習理論と現代数学の中心である代数幾何・代数解析との緊密な関係を解明した世界でも類似物のないものである。
今後の研究展開として、実世界にある情報を発生している確率速度の推測と、最尤推定法による学習精度の解明の問題がある。

【研究分担者】
渡邊澄夫	東京工業大学	精密工学研究所	助教授	(Kakenデータベース)