バーチャルなマウスを作ってみる

コンピューターを使えば脳を再現できるんじゃないか、まだSFのような話ですが、今回はそのような研究を一つ紹介したいと思います。

1. AIを用いた脳の研究とは

2. マウスをモデルしてみよう

3. これって本当に脳なの？

1. AIを用いた脳の研究とは

現代社会において最も研究がなされている分野の一つが AI（人工知能）。その研究の多くがより便利で正確な AI をつくることにフォーカスしている一方で、AI を用いて脳のメカニズムを解き明かそうとする動きもあります。

脳の面白さははまさにそのメカニズムにあります。頭蓋骨に収まる程度の器官が人間の多種多様な機能の司令塔の役割を担っているのは驚異のこと。しかもその精度は最先端のAIをも凌駕します。例えば、最先端のコンピュータービジョン（正確には convolutional neural network）。画像に映っている個人を特定できたりと技術の進歩は大きいですが、同時に騙されやすいことが知られています。パンダの写真にノイズが若干加わるとギボンというサルと見間違えてしまうなどです（adversarial examples）。人の目にはどちらの写真も明らかにパンダであるにも関わらず、です。脳と同じように機能するAIをつくることで現代のAIでも解決できていないことを可能にする脳のメカニズムの解明につながりうるのです。

ただ脳を完全にシミュレーションするなんてことは現時点では無理なわけで、脳の再現の試みの多くは脳の機能の一部を、ある程度の抽象化範囲で再現しようというものです。その一つとして今年 ICLR という学会で発表された研究、"Deep neuroethology of a virtual rodent"（日本語では「深層学習を用いたバーチャルマウスの神経行動学の再現」といったところでしょうか）を紹介したいと思います（この論文は本記事投稿時には arxiv（未査読）で発表）。

2. マウスをモデルしてみよう

本論文がモデルしようとしているのはマウスの運動制御です。迷路内での餌探索や起伏の激しい場所からの脱出などよくある4つのタスクについて、実際のマウスと同じように行動するバーチャルマウスを作ろうというのです。

バーチャルマウス (Merel et al., 2020)

作り方はこんな感じ。まず骨格と視覚をコンピューター上で定義します。この際、視覚は頭部骨格の上にカメラが搭載されているとして、そのカメラで見渡せるバーチャル空間の範囲と定義しています。そして一番大事なのが目や骨格を操る、脳の働きを担うAIです。この論文で使われている AI は recurrent neural network の一種の LSTM（long short-term memory）。インプットのシークエンスをもとにアウトプットのシークエンスを学習するものです。今回の実験の場合は随時入ってくる視覚と体性感覚の情報（インプットシークエンス）を基にその都度最適な動き（アウトプットシークエンス）をするよう学習することになります。使われているモデルを詳しく見ると、意思決定は二つの LSTM, core module と policy module からなっており、core module の情報が policy module に送られ、そのアウトプットとして行動（ポリシー）が決定されます。

バーチャルマウスの行動決定のAI (Merel et al., 2020)

さあ、モデルを作ったら次はこのバーチャルマウスに学習をさせます。バーチャル空間に置かれた未学習のバーチャルマウスに四種類のタスクを何度もこなしてもらい、次第に最適な行動を学習させるというわけです。たとえば迷路の場合、自由に迷路内を動かせ、どれほどの餌を短時間で得られるかの学習をさせることでやがて餌を最も早く得られる体の動かし方、道の選びかたを学びます（もちろんバーチャルマウスですから本物のマウスのようにただ単に餌付けで学ぶというより厳密には餌による報酬と経過時間によるペナルティを加味したobjective functionの最適化を行っています）。

そうやって学習したバーチャルマウスを見てみると面白いことに二つの module が違う働きを持つようになるようです。Policy module はタスク非依存の早いタイムスケールの動き（関節を動かすなど）を司るのに対して core module はタスク依存の遅いタイムスケールの動きを司るようになるというのです。例えば迷路のタスクでいえば、どの方向に進もうなどの決定が core module でなされ、どのように関節を動かしてその方向に進もうかなどの詳細が policy module で決定されるわけです。

学習前にはどのようなルールを覚えろという明確な型は与えられていないため、四つのタスクそれぞれの動き方が別々に学習されてしまってもおかしくありません。例えば迷路タスクを行うときは迷路タスク用の歩き方をするなどです。しかし本論文でみられるように大まかな動きはタスク別にコントロールしつつ詳細はすべてのタスクに共通して定義するほうが圧倒的に効率的ですし、実際の動物でも見られていることです。このAIにおいて学習された core と policy のモジュールがそれぞれ脳内の価値判断と運動生成の部位に一致するのではというわけです。

このように自然と生き物の脳と同じようなパターンを学習するバーチャルマウスを使えば実際のマウスでは難しいような実験を行えたり、実験に使用するマウスの数を減らせるのではないか、と論文は締めくくられています。

3. これって本当に脳なの？

最初にこの論文を読んだ後、面白いことを研究しているなあと感動したのですが、考えていくうちに気になることが出てきました。これらの点は実際にこの分野の論文を読むのに重要なのではと思ったのでここで記しておきます（査読時に直される可能性も十分あります）。

ー　モデルの設計について。まず気になったのは二つの LSTM のモジュールを持ったデザインです。この二つのモジュールには、core module の情報は policy module に行くが逆は成り立たないという非対称性が存在しています。このような設計の場合、結果でみられるような役割分担（早い/遅いタイムスケールのコントロール）が生じるのは当たり前のことかもしれなません。LSTM 以外にも recurrent neural network　はあるわけで、他のものと比べて本論文のモデルがより実際の脳に近いという実験をしない限り本当に論文のモデルが脳を正しく表象しているかはわかりません。

ー フィードバックについて。一番大きな疑問点として持ったことは、このバーチャルマウスが実際の環境で動けるかということです。実際の環境というのはバーチャル空間とは違い凸凹のある表面があったり今まで見たことのない地形に出くわしたりと様々です。インプットからアウトプットにマッピングすることができないほど実際の解空間は大きく、このような深層学習による動き方で実際の複雑な環境に対応できるかは微妙です。実際、動物型のロボットはフィードバック制御を搭載して、その状況に適した動きをしていますし、深層学習だけによる動物型のロボットの成功は知られていません。ですから、このバーチャルマウスのAIが実際のマウス型ロボットに搭載された際に正常に動くかは疑問視されるべきであり、もし実空間で動かないのであれば本論文が実際の脳をシミュレーションしているとはいいがたいわけです。

(ちなみに。この論文はハーバードとDeepMindのコラボレーションです。深読みかもしれませんがDeepMindはアルファ碁の開発でも知られるGoogle傘下の深層学習の研究所であるため、このように深層学習だけを使うことにこだわったのかもしれません。)

という懸念点もありつつも、AIを使った脳の理解というアプローチは面白いなあと思わせてくれる論文でした。

引用
Merel, J., Aldarondo, D., Marshall, J., Tassa, Y., Wayne, G., & Ölveczky, B. (2019). Deep neuroethology of a virtual rodent. arXiv preprint arXiv:1911.09451.