Discovery Sagaサイレントキーワード俯瞰

本研究では動物の行動を強化学習によりコントロールすることを試みた。材料として、体制が簡単で神経科学の研究も進んでおり多くのリソースが利用できる線虫C. elegansを用いた。コントロールのための手がかりとしてオプトジェネティクスを用いることとし、侵害受容感覚神経であるASH神経にチャネルロドプシンChR2を発現させた線虫を用いた。まず、ASH神経への光刺激に対する線虫の行動応答を計算機に学習させることを試みた。このモデリングのために、線虫の姿勢を5つの主成分スコアで表現し、自己回帰ニューラルネットワーク（RNN）に、混合ガウス分布の確率モデルを組み合わせたMDN-RNNを用いた。このモデルでは、RNNが過去の姿勢の時系列の入力を受けて次の行動を出力するが、その際に混合ガウス分布で確率的予測を行う。線虫を含め動物行動は確率的要素を含むのため、このモデルは行動を非常にうまく再現できることがわかった。さらに、このモデルに対して強化学習を施した。光刺激のタイミングを計算機が学習する。報酬は特定の場所に線虫が向かい、近づくこととした。強化学習を繰り返すことにより、線虫を特定の場所に向かわせるために必要な刺激パターンが学習された。すでに実動物における化学走性の行動機構が研究されているが、そこで知られるピルエット機構と同一の刺激パターンが学習された。さらに、強化学習で学習した結果に基づき、実動物の位置に応じて計算機が司令を出し実際に光を当てるという実験を行い、線虫を特定の場所に向かわせることに成功した。