Discovery Sagaサイレントキーワード俯瞰

進化計算 / 実数値GA / UV構造 / k-tablet構造 / 強化学習 / Actor-Critic / 4足歩行ロボット / 分散強化学習 / α-domination戦略 / Profit Sharing / 粉末X線解析 / 蛋白質構造決定 / UV構造仮説 / actor-critic / マルチエージェントシステム / 進化システム / 遺伝的アルゴリズム / 多目的GA / 適応システム / マルチエージェント強化学習 / 報酬共有の合理性

1.進化計算に関する研究成果
(1)非線形性・悪スケール性・多峰性をもった関数最適化問題に対してロバストな実数値GAとして,外挿的交叉EDX,交叉的突然変異ANSを提案した.(2)探索空間に大きな谷が複数存在して各谷に有力な局所解が存在する大域的多峰性下でGAが探索に失敗する現象を説明するUV構造仮説を提唱し,UV現象を回避する世代交代モデルISMを提案した.(3)稜構造に代表される悪スケール構造の一般化であるk-tablet構造に対応できる交叉LUNDX-mを提案した.(4)クラスタリング手法をベースにk-tablet構造を同定する方法を提案した.
2.強化学習に関する研究成果
(1)マルチエージェント強化学習における報酬共有の合理性について理論的に考察し,不合理な挙動を回避するための条件を明らかにした.(2)多数の行動を扱う強化学習の性能向上を図るために,確率的2分木の行動選択を用いたActor-Criticアルゴリズムを提案した.(3)actorの行動選択に正規分布を用いるアルゴリズムを提案し,8次元連続状態・連続行動の4足ロボットの歩行動作獲得問題に適用して,適切な歩行を効率よく学習できることを示した.(4)多段フローシステムを分散強化学習の枠組みで定式化したとき直面する2種類のトレードオフ(利己と利他,制約と性能)を適応的に調整する共有意思決定を提案した.

遺伝的アルゴリズム / コード化・交叉の役割 / 組合せ最適化 / 多目的最適化 / 強化学習 / profit sharing / k確実探査法 / 不完全知覚問題 / サブツアー交換交叉 / 経験強化型学習 / 環境同定型学習 / マルコフ解析 / 数理生態学的解析 / だまし境界定理 / Q-learing / 割引き勾配法

(1)進化型計算に関する研究成果
1)遺伝的アルゴリズムにおける交叉の役割の解析
交叉オペレータが探索に果たす役割を理論的に解析し、騙し境界定理を導いた。
2)コード化・交叉の評価基範の提案
モデル化の評価基範として完備性・健全性・非冗長性・形質遺伝性を提案した。
3)形質遺伝を重視したサブツアー交換交叉の提案とその応用
順序づけ問題を対象に形質遺伝性に優れたサブツアー交換交叉を提案した。
4)遺伝的アルゴリズムによる多目的最適化
多目的最適化問題の合理解であるパレート最適集合をGAで求める方法を確立した。
(2)適応学習に関する研究成果
1)強化学習の枠組みおよびカテゴリーの明確化
強化学習の枠組みを明確化し、環境のクラスと接近の指向性による分類を行った。
2)経験強化型学習の合理性についての理論的考察
profit sharingにおける強化関数の合理性に関して理論的な解析を行った。
3)環境同定を指向した行動決定戦略:k確実探査法とその拡張
未知のマルコフ環境を効率よく同定する行動決定戦略としてk-確実法を提案した
4)期待報酬の山登りによる強化学習
期待報酬の勾配を手がかりに逐次的に山登りを行う強化学習法を提案した。
5)不完全知覚下での学習
感覚器の不完全さによる知覚騙しに対し状態遷移を予測するモデルを開発した。

【研究分担者】
木村元	東京工業大学	大学院・総合理工学研究科	助手	(Kakenデータベース)

【研究分担者】
山村雅幸	東京工業大学	大学院・総合理工学研究所	助手	(Kakenデータベース)