Discovery Sagaサイレントキーワード俯瞰

ブートストラップ / ニューラルネットワーク / 金融時系列 / バックプロパゲーション / グラフィカルモデル / 為替レート / 条件付独立性 / 点過程 / 情報量 / Kullback-Leibler / 関連性 / モデル選択 / 確率的ニューラネットワーク / 確率微分方程式 / 内連性

関連性の尺度としてのKullback-Leibler情報量の有効性を確かめる目的で開始した本研究は,3年間にさまざまな方向に発展した.一つは,モデル選択の基準としてのKullback-Leibler情報量の有効性であり,ブートストラップ法による直接推定が,二項分布や多項分布などの離散分布の場合にはきわめて有効であることが確かめられた.さらにKullback-Leibler情報量にもとづくモデル選択の実際問題への応用として,さまざまな金利時系列モデルの選択の研究をすすめた結果,伝統的な回帰型のモデルだけでなく,ニューラルネットワーク型のモデルも対象として考慮する必要性があることが判明し,確率的ニューラルネットワークモデルの学習アルゴリズムの開発とその収束性の証明を行った.実際このアルゴリズムによって学習させると,すくなくともTOPIXの上昇,下降の予測に関しては他のどんなモデルやネットワークよりもよい精度の60%前後を確保できることが判明した.また,Kullback-Leibler情報量が,さまざまなデータ解析をおこなう際の指針としてどれだけ有効かを確かめるための研究として,衛星搭載レーダの受信波と瞬時観測為替レートの解析とモデル構築もおこなった.衛星搭載レーダに関してはこれまでのパルス圧縮法よりも数十倍の精度をもつ処理方法を発見し,瞬時観測為替レートに関してはクラスターのあるマークつき点過程としてのモデル構築をおこなった.さらに,グラフィカルモデルにおける情報の流れという観点から,条件付き独立性の研究も進めた.その結果,条件付き独立性はかなり強い条件であり,正規分布以外とその単調変換という形以外には実際には実現しにくい条件であることも判明した.

データマイニング / ニューラルネットワーク / 確率感度解析 / ブートストラップ法 / MDL情報量基準 / ニューラル・ネットワーク / 機械学習 / ブートストラップ

本研究の目的は,データマイニングに関して既に得られている数理モデルの特長を拡張し,従来のデータベース技術や統計的手法の利点を活用して,新しいデータマイニング・モデルの構築と解析を行い,さらにシミュレーションやテストデータにより評価・検証して,モデルの特性を明らかにすることであった.この目的に沿って研究を行なった結果,下記の結果を得た.
1.確率感度解析による新しい確率的学習アルゴリズムの導出
データからの知識発見のために,ニューラルネットワークなどの機械学習手法を用いたデータマイニング・モデルにおいて,データの不確定性やノイズ,予測不可能な変動などがモデルの推論結果に与える影響の度合いを確率感度解析によって定量的に評価し,それにもとづいたニューラルネットワークの新しい確率的学習アルゴリズムの定式化に成功した.
2.ブートストラップ手法の最適リサンプリングへの応用
データマイニングの実際の応用においては,学習用データが統計的に偏ったり不充分な量の教師データしか得られないケースによく遭遇するが,統計的に大きく偏ったデータからの知識発見のために,復元を許したリサンプリング手法であるブートストラップ法の適用を提案し,シミュレーションによりその有効性を検証した.さらに,学習データの複合的組み合わせを繰り返して交叉検証(Cross-Validation)を行う場合にも,本提案手法を拡張してデータマイニング・モデルの汎化能力を改善できることを明らかにした.
3.データマイニングの製造スケジューリングや工程管理への応用
データマイニングの新しい応用分野として,生産データ解析における相関(Association)分析やMDL(最小記述長)などの情報量基準の適用について考察を行ない,最適スケジューリングや工程管理手法を提案した.本研究で提案した手法の有効性を数値実験により定量的に示した.

統計的モデル / モデル選択 / ブートストラップ / ニューラルネットワーク / 多重量自己回帰モデル / GARCHモデル / バリデーション / 多変量自己回帰モデル / 統計的モデル選択 / ニューロネットワーク / ウェーブレット / 複雑さ

本研究は,従来のモデル選択理論をより体系化するとともにニューロネットワーク,ウエーブレットなどこれまでの伝統的な推測法と異なった側面をもつ計算機依存型の推測法に対しても適用可能な形に拡張し,十分実用に耐える根拠と効力を持つ汎用なモデル選択法を確立することを目的として開始した研究である.
まず最初の目的は,Springer-Verlag社から依頼されていたモノグラフ"Statistical Model Selection"の執筆を通じて1つの体系的なアプローチを探索することによりかなり達成できた.特に,BICやABICさらにはMDLに代表されるモデル選択法をベイジアンの立場から統一的に扱うことが判明したことは,今後のこの分野のさらなる発展につながるばかりでなく,ニューロネットワークのノード数の選択などに無反省にこれらの方法が適用されている現状に対する警鐘としても重要な意味を持つ結果である.
二番目の目的に対しては,主に離散データに対する統計モデルの選択を中心に研究を進めた.多くの計算機依存型の推測法がこのような離散的な値をとるデータを対象としているからである.その結果,連続的な値をとる場合によく用いられるAICに代表されるモデル選択法をそのまま用いるのは必ずしも適切でないことが明らかになった.その主な理由は,離散分布の場合には推定量の分布の漸近分布への収束が極めて遅く,また一様ではないためである.そこでどんな修正が適当かを探索するとともにそれぞれについて検証を重ねた.その結果いわゆるブートストラップ法による修正項の推定がかなり広範囲に有効であることが判明し,そのために必要なアルゴリズムも開発した.
さらに,実際問題への適用例として従来から研究対象としてきた7種類の金利時系列を取り上げ,多変量ARモデルのモデル選択の実証研究を行った.そのためには,変量とラグの自由な組合せでのモデル選択を行えるソフトウエアが存在しなかったためその開発から始める必要があった.このソフトウエアを用いて様々な期間についてモデル選択を行ったところ,バブルの時期も含め様々な期間について共通がモデルを選択できることが判明した.これは実際問題での統計的モデル選択の重要性とその有効性を示す結果である.

【研究分担者】
高際睦	東京歯科大学	歯学部	助教授	(Kakenデータベース)
神保雅一	慶應義塾大学	理工学部	教授	(Kakenデータベース)
清水邦夫	慶應義塾大学	理工学部	教授	(Kakenデータベース)
加藤剛	慶應義塾大学	理工学部	専任講師	(Kakenデータベース)

【研究分担者】
鈴木秀男	筑波大学	社会工学系	講師	(Kakenデータベース)
吉田武稔	北陸先端科学技術大学院大学	知識科学研究科	助教授	(Kakenデータベース)