【研究分野】連携探索型数理科学

【研究領域課題番号】16KT0019 (KAKENデータベースで見る）

【研究キーワード】

レザバー計算 / カオス / 非線形力学系 / レザバー計算機 / ニューラルネットワーク / 情報量最大化 / ネットワーク結合力学系 / 力学系 / 数理工学 / 数理科学 / 神経科学 / 非線形

【研究成果の概要】

本研究では、大自由度非線形力学系を計算資源として活用するため、適切な指導原理に基づいてより良いレザバー計算機を構築すること、また，逆に力学系自体を計算資源という新たな側面で特徴付け、力学系の基礎的研究に新たな指標を提供することを目的としている。最初に、非カオス的なストレンジアトラクターを示す力学系をレザバーとして活用する可能性を検討し，適切なタスクの設定なども含めての研究を行った。最終的に、力学系の相互作用を規定するネットワーク構造が重要である点に着目して、リカレント相互情報量最大化という指導原理で構築する事で、特にメモリータスクに関して性能の向上が見られる事を発見した。

【研究の社会的意義】

レザバー計算は最近注目さているトピックであり、特に、大自由度非線形力学系の複雑な振る舞いを、計算資源として工学的応用に繋げる点は、数学の基礎理論と工学的応用の絡む学際的な研究テーマである．これまで、edge of chaos しか有効なレザバー構築の指針が無かったが、今回リカレント情報量最大化という新たな指針を示せたことは、工学的応用だけでなく、力学系の新たな特徴付けという基礎科学への貢献も期待出来る．最後に，数学的に非常にマニアックな力学系の性質が，情報処理システムとして工学的応用や脳・神経系の理解に関係している点は，基礎的学問の裾野の広い研究が如何に重要かを示す社会的意義も大きいといえる.

【研究種目】基盤研究(B)

【研究期間】2016-07-19 - 2020-03-31

【配分額】18,200千円 (直接経費: 14,000千円、間接経費: 4,200千円)

【研究分野】感性情報学

【研究領域課題番号】15K16076 (KAKENデータベースで見る）

【研究キーワード】

レザバー計算 / リカレントニューラルネットワーク / 非線形力学系 / ファラデー波 / レザバーコンピューティング / 機械学習 / ニューラルネットワーク / 大自由度力学系 / カオス / ソフトマテリアル

【研究成果の概要】

容器に入った液体に縦方向の加振を施すとファラデー波と呼ばれる水面波が生成される。この波のダイナミクスは、カオスを含むきわめて多様な時空間パターンを示すことが知られている。本研究テーマでは、このファラデー波を計算資源として活用することを考える。具体的には、レザバー計算と呼ばれる大自由度力学系を活用した新規情報処理技術に着目し、ファラデー波の時空間パターンに一部計算を実装させるシステム（流体計算機）を構成する。ここではまず、このシステムの応答特性から説明し、水面波のダイナミクスを活用してタイマー（時間間隔の制御）が構築できることを示した。また、その記憶容量についても定量的に解析した。

【研究種目】若手研究(B)

【研究期間】2015-04-01 - 2018-03-31

【配分額】3,900千円 (直接経費: 3,000千円、間接経費: 900千円)

【研究分野】教育工学

【研究領域課題番号】13480043 (KAKENデータベースで見る）

【研究キーワード】

洞察的問題解決 / カオスニューラルネットワーク / コンピュータシミュレーション / 評価関数 / 心理学実験 / 洞察 / 問題解決 / ニューラルネットワーク / カオス

【研究成果の概要】

13年度は主に以下のような研究を行った.
(1)従来型のニューラルネットワークについて、カオスシステムを含め、教師付、教師なし、あるいはハイオーダー等すべてにわたって、十分な検討を行った.そのためには、文献による検索だけではなく、海外を含めた各研究者との直接の情報交換を行った。
(2)(1)での検討をふまえて、基礎となる問題解決過程のニューラルネットワークをコンピュータ上に構成し、シミュレーションを行ってその特性を十分研究した.
(3)(2)で構成したシステムに、さらに、カオス的機構を組み込んでシミュレーションを行い、その特性を研究した.
(4)問題解決のポテンシャル理論に従い、問題空間内で定義される心理的距離の単調関数を評価関数として用い、同理論の方法に準じて、その評価関数の値を最大化する方向にシステムを誘導するメカニズムを、(3)で構成したシステムに組み込んだモデルを構成した。
(5)当該ニューラルネットワークが想定している問題解決に相当する洞察的問題解決の心理学実験を構成し、実際の人間の被験者で実験を行った.
(6)(5)で用いた心理学実験と同じ実験材料、同じ実験方法を前提として、(4)のモデルでコンピュータシミュレーションを行い、(5)で行った人間での実験結果と比較検討した.
(7)(6)の結果の考察をつうじて、モデルがより人間の知識探索における思考方法に近づくように改良した.
さらに14年度は13年度の成果に基づき以下のような研究を行った.
(1)13年度の結果を踏まえて、単なるゲーム的な問題解決過程のモデルではなく、より一般的な問題解決(日常的あるいは科学的発見)のためのモデルとして利用可能な形にモデルを発展改良した.
(2)当該ニューラルネットワークが想定している、一般的問題解決に相当する心理学実験を構成し、実際の人間の被験者で実験を行った。
(3)(2)で用いた心理学実験と同じ実験材料、同じ実験方法を前提として、(1)のモデルでコンピュータシミュレーションを行い、(2)で行った人間での実験結果と比較検討した.
(4)(3)の結果の考察をつうじて、モデルがより人間の問題解決における思考方法に近づくように改良し、教育工学的応用の可能性を考察した.

【研究種目】基盤研究(B)

【研究期間】2001 - 2002

【配分額】4,400千円 (直接経費: 4,400千円)

【研究分野】制御工学

【研究領域課題番号】10650434 (KAKENデータベースで見る）

【研究キーワード】

学習 / 最適化 / カオス / 共生 / ゲート付きニューラルネットワーク / RBFネットワーク / 自律移動エージェント / 非線形システム制御 / ニューラルネットワーク / ゲート / 適応 / 自律システム / ケート付ネットワーク / 経路切替 / 強化学習 / 一般化 / 最適値探索

【研究成果の概要】

本研究課題である「モデル内部形成型自律システム」の構築には,多様な試行に基づいて学習を行う手段,学習結果の中から未学習の状況にも適用可能な一般性の高いものを抽出して表現する手段,階層的な構造をもつ制御機構とその適切な切替え機構が必要である.これらを実現するために,以下の事項について研究を行った.
多様な試行に基づいた学習を実現する手段として,非決定論的な試行を生み出すことが可能なカオス的な挙動の生成と消滅を制御できる機構,探索範囲を必要に応じて自動的かつ階層的に拡大あるいは縮小する最適化法,多様な解を得ることができる遺伝的共生アルゴリズム,最適化手法に含まれる設計パラメータをも適切な値に自動調整する発見的最適化手法を開発し,それぞれ例題を用いてその有効性を検証した.
一般性のある知識の抽出の実現手段として,入力ゲート付きニューラルネットワークとRBF(Radial Basis Function)ネットワークのノード統合手法を考案し,より少ない変数(条件)で表される一般的なルールの抽出を行うことができることを,自律移動エージェントの行動学習を例として確認した.
また,ノードゲート付きニューラルネットワークを開発し,これにより複数階層からなる制御系とその切替え機構が実現できることを,非線形システム制御を例題として確認した.さらに,移動エージェントの行動学習において,与えられた環境のみに有効な行動方針を学習する通常の学習に加え,一般性の高い知識を抽出する学習方法を付加し,環境が変化した場合にも,環境変化に素早く対応できる行動学習システムを構築した.

【研究種目】基盤研究(C)

【研究期間】1998 - 1999

【配分額】3,000千円 (直接経費: 3,000千円)

【研究分野】制御工学

【研究領域課題番号】10650433 (KAKENデータベースで見る）

【研究キーワード】

学習 / ニューラルネットワーク / 強化学習 / 非線形システム制御 / カオス / 遺伝的アルゴリズム / 連想記憶 / ファジィ / モデル化 / 制御 / 不完全観測 / オブザーバ / 高速化 / ロバスト性

【研究成果の概要】

非線形複雑系のモデル化と制御には、生物の学習方式及び記憶方式を解明し、その工学的利用が有益であると考えられる。このことから、生物の学習方式を範とするモデル化と学習方式及び,複雑系の代表格である脳の連想記憶方式とそのモデル化に関する研究を行った.
1.モデル化に関する研究
遺伝的アルゴリズムを用いた可変長の遺伝子コードを間接符号化法に基づく,最適ネットワークサイズと適切なネットワークパラメータを持つニューラルネットワーク設計法を提案し,シミュレーションによりその有効性を確認した.
2.学習及び制御に関する研究
・ロバストな制御器構築を目的として,制御器構造をコンパクト化する方式の検討を行い,非線形クレーンシステム制御のシミュレーションによりその有効性を確認した.
・ネットワークによるモデルを学習にて構成する場合の学習時間の短縮化に関する検討を行い,学習すべきシナプス重みパラメータを関数表現化する方式を提案し,学習の高速化の点で有効であることを確認した.
・生物の自然な学習方式である強化学習方式について,不完全観測環境下におけるactor-critic学習方式と確率傾斜法の協調学習方式を開発,また,強化学習における試行錯誤において試行に関する探索方向を適応的に変化させることを提案し,倒立振子の制御及び自律走行ロボットの行動学習を例題として高い探索効率及び学習試行回数の減少効果を持つことを確認した.
3.連想記憶方式とそのモデル化に関する検討
・記憶の記銘・想起のうち,想起に関する記憶検索モデルについて検討し,従来方式に比較して想起したい記憶を想起するまでの時間ステップが短い記憶探索モデルを提案した.

【研究種目】基盤研究(C)

【研究期間】1998 - 2000

【配分額】2,700千円 (直接経費: 2,700千円)

【研究分野】システム工学

【研究領域課題番号】09750461 (KAKENデータベースで見る）

【研究キーワード】

ニューラルネットワーク / カオス / 連想メモリ

【研究成果の概要】

本研究では、ニューラルネットワーク連想メモリにカオス理論を導入して状況に応じた柔軟な連想を可能とすることを目標としている。従来のニューラルネットワーク連想メモリのほとんどは一対一の連想しか扱えない。したがって、例えば一つの色や形から複数のものの名前を連想するような一対多、あるいは多対多の連想は極めて困難であった。今年度は、この大きな問題点を克服することのできる新しいカオス連想メモリを提案し、その特性を明らかにした。
提案モデルでは、従来のカオスニューラルネットワークにおいて記憶したパターンが外部入力として与えられた時に、入力されたパターンの周辺のみが探索されろという性質を利用して多対多の連想と重畳パターンの分離を可能としている。
計算機シミュレーションにより、多対多の連想や重畳パターンの分離が可能であることを確認している。さらに、記憶時における重畳パターンのそれぞれの強さが、想起に与える影響などについても基礎的なデータを得ている。
本研究では、カオスニューラルネットワークを今後の柔軟な情報処理のキーテクノロジーとして捉え、多対多の連想と重畳パターンの分離学習に関して基礎的なデータの収集および検討を大きな目標としたため、学習アルゴリズムには基本的な相関学習を用いている。そのため記憶容量は大きくないが、報告者らによって提案されている緩和法を用いた学習アルゴリズムなどを用いることにより、大幅な向上が可能である。

【研究種目】奨励研究(A)

【研究期間】1997 - 1998

【配分額】2,300千円 (直接経費: 2,300千円)

【研究分野】計測・制御工学

【研究領域課題番号】09450171 (KAKENデータベースで見る）

【研究キーワード】

ニューラルネットワーク / 遺伝的アルゴリズム / ファジイ / 一般化学習ネットワーク / 高次微分 / 共生 / ロバスト制御 / カオス制御 / モデル化 / 学習 / 確率 / 制御 / 安定性 / カオス / 集中化・多様化 / ネットワーク / 離散事象 / オートマトン / ゲート

【研究成果の概要】

本報告は、科学研究補助金に関する研究課題「学習ネットワークによる複雑システムのモデル化とインテリジェント制御に関する研究」についての研究成果である。
広域電力ネットワークシステム、分散型交通・物流ネットワークシステム、総合上水道ネットワークシステム、大規模複雑原子力・火力・化学プラント等最近の制御対象は大規模化、複雑化、広域化、分散化する傾向にある。
それに従い、従来の制御理論の枠組では環境の変化と多様な目的に対応する高度な制御を行う事が困難となり、従って、制御システム全体を非線形ネットワークとして捉え、これにより既存の制御手法にはない柔軟性と創造性を持ったシステムを構築する事が強く求められていた。
そこで、本研究では生命現象をも含む自然現象及び論理の世界を大規模複雑なシステムとして捉え、これをモデル化し制御するための一般化学習ネットワーク(ULNs:Universal Learning Networks)と確率一般化学習ネットワーク(PrULNs:Probabilistic Universal Learning Networks)およびネットワーク最適化の学習方式である適応的ランダム探索法(RasID:Random Search Method with Intensification and Diversification)と遺伝的共生アルゴリズム(GSA:Genetic Symbiosis Algorithm)を開発した。
又、これ等の手法を具体的応用システムに展開し、ロバスト制御、カオス制御等が統一した枠組の中で論ずる事が出来る事を明らかにしている。

【研究種目】基盤研究(B)

【研究期間】1997 - 1999

【配分額】9,500千円 (直接経費: 9,500千円)

【研究分野】計測・制御工学

【研究領域課題番号】08555098 (KAKENデータベースで見る）

【研究キーワード】

ニューラルネットワーク / 並列情報処理 / ニューロハードウエア / コヒーレンス / 光情報処理 / 複素ニューラルネットワーク / ニューロデバイス / 波動情報処理 / コヒーレント型ニューラルネットワーク / 汎化特性 / バックプロパゲーション学習 / 周波数領域並列化 / リカレントネットワーク / リアプノフ指数 / カオス

【研究成果の概要】

現在、脳型情報処理システムの実現に関する研究が、世界中で活発化している。未だ、「脳型情報処理システム」の定義は存在しない。しかし、予測される将来の脳型システムは、少なくとも、フォン・ノイマン型の従来型情報処理装置とは相補的な関係になると考えられる。もう少し具体的に述べるならば、脳型情報処理に期待される最も大きな特徴は、高並列アーキテクチャによって実現される分散的かつ柔軟な情報処理動作にある。換言すれば、将来の究極的な脳型情報処理システムを実現するためには、チューリングマシンの原理によらない、ハードウエア的にも高並列動作が可能で柔軟な情報処理システムを開発することが不可欠である。
本研究は、波動場、特に光波や電磁波を用いることによりニューラルネットワークを実現し、そのような柔軟な高並列情報処理システムを構築することを最終的に目指した研究である。コヒーレント型ニューラルネットワークは、研究代表者が1992年に提案した複素ニューラルネットワークを発展させたものである。そして本研究は、光波(あるいは電磁波、電子波など)の振幅のみならず位相をも扱うニューラルネットワークの動的理論を構築し、また、ネットワークのプロトタイプを構成するのに必要なサブシステムをハードウエアとして実現することを目標としている。
本科学研究費補助金による2年間の研究によって、動的不安定性の発生機構の解明、不安定性を抑制する学習方式の提案と実証を行った。また、電磁波動と複素ニューラルネットワーク情報処理との連係を明かにするための、適応的な複素振幅情報処理型レーダシステムの構築も進め、基礎的な部分については実現が完了した。このように、基礎的かつ応用性の高い成果をあげることができ、上記の目的をほぼ達成することができたと考えている。今後、さらに本格的なコヒーレント型ニューラルネットワークの実現を目指して、本研究の延長にある理論的・実験的な次段階の研究を推進したいと考えている

【研究種目】基盤研究(A)

【研究期間】1996 - 1997

【配分額】13,900千円 (直接経費: 13,900千円)

【研究分野】電子デバイス・機器工学

【研究領域課題番号】07650393 (KAKENデータベースで見る）

【研究キーワード】

ニューラルネットワーク / 量子ニューラルデバイス / 周波数多重並列化 / 量子波デバイス / コヒーレント型ニューラルネットワーク / 複素ニューラルネットワーク / カオス / レーダ

【研究成果の概要】

本年度は、以下に示すような大きな研究成果を挙げることができた。本研究は、量子ニューラルデバイスに関するまさに基礎的研究であり今後、具体的は量子ニューラルデバイスの実現という最終目標を目指したあらたな研究をさらに推進してゆく予定である。
1 デバイス設計の基本原理の確立と定量的な解析:キャリアのエネルギーと学習との関係について、光波をキャリアとするコヒーレント型ニューラルネットワークを想定して、理論的な解析とシミュレーションを行った。周波数空間を並列化のための情報空間として利用する場合の学習について、詳しい解析とシミュレーションを進めた。特に、学習前の初期条件と学習結果の周波数領域での汎化の特性との関係について研究を進めた。その結果、ニューロン結合の透過率と遅延時間を適応的に調整してゆくバックプロパゲーション学習において、キャリア周波数領域と遅延時間領域の両方の空間で、極小誤差を実現するためのパラメータが周期的に存在し、ちょうど双曲線状の細長い谷の並びを形作っていることが理論的に示されシミュレーションによって確認された。その結果、その谷を越えた学習は通常は不可能であることが示された。したがって有意味な汎化を実現するためには、ニューラルネットワークの初期条件はある一定の範囲に限定されることが明かとなった。しかし、その限定された初期条件は、実際にニューラルネットワーク・ハードウエアを構成してゆくために大きな困難になるものではないことも、同時に確認された。
2 マクロな電子回路による基礎原理の確認:マクロな高周波電子回路によるニューロ情報処理システムを構築し、マイクロ波およびミリ波の領域において、電磁波(光波)デバイスとしての量子ニューラルデバイスの基礎原理の確認を進めている。具体的には、反射波の位相をも検出可能なレーダ装置のプロトタイプを構築し、複素信号として対象空間の2次元的な一次情報を得ている。この信号を、フォン・ノイマン型計算機の上でソフトウエア的に並列に複素ニューラルネットワーク処理することにより、アダプティブな空間計測および認識を実現する実験を進めている。その結果、並列に処理される2次現画像に大きな並列性があるほどニューラルネットワークの高並列性による利点を充分に引き出すことが可能となることなどが認められ、さらに短い波長(高い周波数)のキャリアを利用した実験を行うことを予定している。

【研究種目】基盤研究(C)

【研究期間】1995 - 1996

【配分額】2,500千円 (直接経費: 2,500千円)

【研究分野】システム工学

【研究領域課題番号】07750464 (KAKENデータベースで見る）

【研究キーワード】

ニューラルネットワーク / カオス / 連想メモリ

【研究成果の概要】

カオスは、決定論的な時間発展する非線形なシステムに生じる予測不可能な現象であり、電気回路のみならず心拍や脳波など、生体においても多くその存在が知られている。特に生体の脳においては、カオスは記憶や学習に重要な役割を果たしていると考えられている。
本研究では、以上のような生理学的および数理学知見に基づいたカオスを、知的情報処理へ適用するための研究を行った。具体的には、脳の情報処理様式を模擬するニューラルネットワークに基づいた連想記憶モデルに適用し、新しいカオス双方向連想メモリを提案した。従来より、1対多の連想が可能な連想記憶モデルでは、想起時に生じる干渉を取り除くために人為的な制御や特別なネットワークを必要としていた。提案モデルでは、従来の双方向連想メモリの一部にカオスニューロンを用いてこの問題を解決している。
計算機シミュレーションにより得られた結果をまとめる。
(1)学習パターンに文脈情報を付加することにより、1対多の連想が可能なことが確認された。
(2)カオスニューロンの内部状態がカオス的に変化し続けることによって、ネットワークが動的な想起を実現している。これは、想起時のエネルギー関数やニューロンの内部状態の変化の調査により確かめられた。
(3)雑音を用いた想起に比べ、提案モデルの方が短時間で正しい想起が行えることが確認された。

【研究種目】奨励研究(A)

【研究期間】1995

【配分額】1,100千円 (直接経費: 1,100千円)

【研究分野】非線形科学

【研究領域課題番号】06835005 (KAKENデータベースで見る）

【研究キーワード】

カオス / ニューラルネットワーク / 動的連想記憶 / 組み合わせ最適化

【研究成果の概要】

本研究においては、カオスニューラルネットワークの多様な非線形ダイナミクスの中で、特にその機能と関連が明確である動的連想ダイナミクスと最適化ダイナミクスに焦点を絞って解析を行ない、以下の結果を得た。
1.動的連想機能をニューロン間相互作用及び不応性効果の2内部状態モデルを用いて解析し、そのトランジェントダイナミクスと動的連想機能との関連を明らかにした。さらに、その連想過程への外部入力効果を調べ、生理実験結果との比較・検討を行なった。
2.カオスニューラルネットワークを組み合わせ最適化問題へ応用するために、各ニューロンの自己抑制結合を時間とともに減少させるカオスシミュレーテッドアニーリング法を定式化し、トラベリングセールスマン問題を例として、その有効性を検証した。

【研究種目】一般研究(C)

【研究期間】1994

【配分額】2,000千円 (直接経費: 2,000千円)