頭を冷やして考えたら

議論が白熱したときに、頭冷やして考えろよ、なんて言ったりしますよね。実際に冷やすとどうなるのか、これが今回のテーマです。

1. なんで頭を冷やすの？
2. 冷却してみると
3. マニフォルドの観点から

1. なんで頭を冷やすの？

今回紹介する論文は10年以上前にNature で掲載された論文、"Using temperature to analyze temporal dynamics in the songbird motor pathway"（日本語では「鳴鳥の運動経路の時間動態の温度を用いた解析」）です。この論文は、ゼブラフィンチという鳥のうたのメカニズムについての研究なのですが、それを調べるためになんと鳥の脳を冷やしてみるというのです。

ゼブラフィンチ

そもそもゼブラフィンチのうたをなぜ研究するのでしょうか。それはこれが脳の運動制御の恰好のモデルだからです。フィンチのうたは非常に正確なタイミング管理がなされていて、種内のどの個体も同じうたを歌い、その細部のタイミングまですべて非常に似ています。人間でいうなら、みんなが正確にカラオケ採点通りに歌えるようなものです。タイミングの管理は動物の行動すべてにおいてとても重要であり、ここまで正確にうたを歌えるフィンチの脳を研究することは動物の運動制御のメカニズムの理解にもつながるというわけです。

ではもとの問いにもどって、なぜ頭を冷やすのか。それは脳の働きを遅くするため。脳を部分的に冷却するとその脳部位のはたらきが遅くなることがわかっています。では、もしうたのタイミングを制御している脳の部位を冷却したら鳥はゆっくり歌うようになるのでは？この論文を読んだときその発想にびっくりしたのですが、さらにびっくりしたのはそれが本当にうまくいったことです。

2. 冷却してみると

フィンチの脳とペルチエ素子（Long & Fee, 2008）

鳥のうたを司る脳の部位はいくつか見つかっていますが、その中でも特に重要とされているのは HVC（high vocal center）と RA（robust nucleus of the arcopallium）でした。HVCがRAに連絡し、RAが運動野に刺激をおくることで発声運動がおきます。ただ、このどちらがうたのタイミングをコントロールしているかまではわかっていませんでした。そこで行われたのが今回の実験。ペルチエ素子（Peltier device）という温度管理を行う器具を用いて各脳部位を冷やしてみて、鳥のうたがどう変わるのかを見たわけです。

その結果、HVC を冷やすとうたは遅くなるがRAを冷やしてもうたに変化は見られないことが分かり、HVC がタイミング制御を担っている重要な証拠となったのです。しかも目を見張るべきは HVC を冷やした時の結果です。なんと HVC を阻害した結果としてうたがめちゃくちゃになることはなく、うたの音声構造が保存されたまま時間だけ伸ばされたのです。これは HVC でのうたの管理メカニズムが連鎖構造をとっている、つまりうたの各要素が連続的に管理されていて、この要素を歌ったら次にこのフレーズを歌うというのが非常に細かいタイムスケールで管理されている、ということを示唆しています。

3. マニフォルドの観点から

この実験結果だけでもとても興味深いのですが、この実験はマニフォルドの観点からも重要な意味を持っています。マニフォルドは多様体とも呼ばれる数学の概念ですが、ニューロサイエンスにおいては、ある行動をしているときにそれに関わるn個のモジュール（ニューロンであったりアンサンブルであったり）の活動具合をもって形成されるn-次元空間上での局面を表します。ある行動をしているときの脳の状態をリストアップしたものといってもいいでしょう。このマニフォルドの理解の重要性は今注目されていますが（例えば "Navigating the Neural Space in Search of the Neural Code"）、鳥の脳の冷却実験はまさにこのマニフォルドの理解と密接なかかわりを持っています。

マニフォルド（Jazayeri & Afraz, 2017）

マニフォルドの概念を理解するためにシンプルなモデルで考えてみましょう。例えば人の食欲の管理には二つのニューロン A と B のみ関わっているとします。Aが活発だと食欲が増進し、B が活発だと食欲が減退します。では研究者がこれらのニューロンの働きを調べるためには A や B を抑制してみて食欲がどう変化するかをみれば十分でしょうか。ここで大事になってくるのが A と B が自然状態でどういう活動を示しているかです。実験でニューロンを抑制する際、自然状態でも起こりえる程度の抑制であれば問題はないのですが、その具合が自然で起こりえないほど強すぎる場合、解釈が非常に難しくなります。みられる変化が単に抑制に起因するのか、もしくは不自然な抑制を行ったことによる特殊な反応なのかが区別がつかないからです。だからこそ自然状況下でのニューロンの活動度の関係（マニフォルド）の理解は大事であり、何か脳に変化を加えるときはこのマニフォルド上での変化を起こさせるのが望ましいわけです（このようなマニフォルド上の変化をon-manifold perturbationというのに対して、あえてそこから外すoff-manifold perturbationもありますが、今回は割愛します）。

本実験では脳の冷却により自然では起こりえないような反応速度になっているためon-manifoldではありません。ただ、さっき説明したようなn-次元空間ではなく、時間軸をたしたn+1-次元空間で考えてみると、時間軸だけずれているものの、各時間においてはon-manifoldであることがわかります（各時間においての脳の状態は自然環境でも生じている状態です）。このようにoff-manifoldではあるものの、最大限マニフォルド上での変化を行わせているため、きれいな結果がえられたとも言えるのです。

引用

Jazayeri, M., & Afraz, A. (2017). Navigating the neural space in search of the neural code. Neuron, 93(5), 1003-1014.

Long, M. A., & Fee, M. S. (2008). Using temperature to analyse temporal dynamics in the songbird motor pathway. Nature, 456(7219), 189-194.

バーチャルなマウスを作ってみる

コンピューターを使えば脳を再現できるんじゃないか、まだSFのような話ですが、今回はそのような研究を一つ紹介したいと思います。

1. AIを用いた脳の研究とは

2. マウスをモデルしてみよう

3. これって本当に脳なの？

1. AIを用いた脳の研究とは

現代社会において最も研究がなされている分野の一つが AI（人工知能）。その研究の多くがより便利で正確な AI をつくることにフォーカスしている一方で、AI を用いて脳のメカニズムを解き明かそうとする動きもあります。

脳の面白さははまさにそのメカニズムにあります。頭蓋骨に収まる程度の器官が人間の多種多様な機能の司令塔の役割を担っているのは驚異のこと。しかもその精度は最先端のAIをも凌駕します。例えば、最先端のコンピュータービジョン（正確には convolutional neural network）。画像に映っている個人を特定できたりと技術の進歩は大きいですが、同時に騙されやすいことが知られています。パンダの写真にノイズが若干加わるとギボンというサルと見間違えてしまうなどです（adversarial examples）。人の目にはどちらの写真も明らかにパンダであるにも関わらず、です。脳と同じように機能するAIをつくることで現代のAIでも解決できていないことを可能にする脳のメカニズムの解明につながりうるのです。

ただ脳を完全にシミュレーションするなんてことは現時点では無理なわけで、脳の再現の試みの多くは脳の機能の一部を、ある程度の抽象化範囲で再現しようというものです。その一つとして今年 ICLR という学会で発表された研究、"Deep neuroethology of a virtual rodent"（日本語では「深層学習を用いたバーチャルマウスの神経行動学の再現」といったところでしょうか）を紹介したいと思います（この論文は本記事投稿時には arxiv（未査読）で発表）。

2. マウスをモデルしてみよう

本論文がモデルしようとしているのはマウスの運動制御です。迷路内での餌探索や起伏の激しい場所からの脱出などよくある4つのタスクについて、実際のマウスと同じように行動するバーチャルマウスを作ろうというのです。

バーチャルマウス (Merel et al., 2020)

作り方はこんな感じ。まず骨格と視覚をコンピューター上で定義します。この際、視覚は頭部骨格の上にカメラが搭載されているとして、そのカメラで見渡せるバーチャル空間の範囲と定義しています。そして一番大事なのが目や骨格を操る、脳の働きを担うAIです。この論文で使われている AI は recurrent neural network の一種の LSTM（long short-term memory）。インプットのシークエンスをもとにアウトプットのシークエンスを学習するものです。今回の実験の場合は随時入ってくる視覚と体性感覚の情報（インプットシークエンス）を基にその都度最適な動き（アウトプットシークエンス）をするよう学習することになります。使われているモデルを詳しく見ると、意思決定は二つの LSTM, core module と policy module からなっており、core module の情報が policy module に送られ、そのアウトプットとして行動（ポリシー）が決定されます。

バーチャルマウスの行動決定のAI (Merel et al., 2020)

さあ、モデルを作ったら次はこのバーチャルマウスに学習をさせます。バーチャル空間に置かれた未学習のバーチャルマウスに四種類のタスクを何度もこなしてもらい、次第に最適な行動を学習させるというわけです。たとえば迷路の場合、自由に迷路内を動かせ、どれほどの餌を短時間で得られるかの学習をさせることでやがて餌を最も早く得られる体の動かし方、道の選びかたを学びます（もちろんバーチャルマウスですから本物のマウスのようにただ単に餌付けで学ぶというより厳密には餌による報酬と経過時間によるペナルティを加味したobjective functionの最適化を行っています）。

そうやって学習したバーチャルマウスを見てみると面白いことに二つの module が違う働きを持つようになるようです。Policy module はタスク非依存の早いタイムスケールの動き（関節を動かすなど）を司るのに対して core module はタスク依存の遅いタイムスケールの動きを司るようになるというのです。例えば迷路のタスクでいえば、どの方向に進もうなどの決定が core module でなされ、どのように関節を動かしてその方向に進もうかなどの詳細が policy module で決定されるわけです。

学習前にはどのようなルールを覚えろという明確な型は与えられていないため、四つのタスクそれぞれの動き方が別々に学習されてしまってもおかしくありません。例えば迷路タスクを行うときは迷路タスク用の歩き方をするなどです。しかし本論文でみられるように大まかな動きはタスク別にコントロールしつつ詳細はすべてのタスクに共通して定義するほうが圧倒的に効率的ですし、実際の動物でも見られていることです。このAIにおいて学習された core と policy のモジュールがそれぞれ脳内の価値判断と運動生成の部位に一致するのではというわけです。

このように自然と生き物の脳と同じようなパターンを学習するバーチャルマウスを使えば実際のマウスでは難しいような実験を行えたり、実験に使用するマウスの数を減らせるのではないか、と論文は締めくくられています。

3. これって本当に脳なの？

最初にこの論文を読んだ後、面白いことを研究しているなあと感動したのですが、考えていくうちに気になることが出てきました。これらの点は実際にこの分野の論文を読むのに重要なのではと思ったのでここで記しておきます（査読時に直される可能性も十分あります）。

ー　モデルの設計について。まず気になったのは二つの LSTM のモジュールを持ったデザインです。この二つのモジュールには、core module の情報は policy module に行くが逆は成り立たないという非対称性が存在しています。このような設計の場合、結果でみられるような役割分担（早い/遅いタイムスケールのコントロール）が生じるのは当たり前のことかもしれなません。LSTM 以外にも recurrent neural network　はあるわけで、他のものと比べて本論文のモデルがより実際の脳に近いという実験をしない限り本当に論文のモデルが脳を正しく表象しているかはわかりません。

ー フィードバックについて。一番大きな疑問点として持ったことは、このバーチャルマウスが実際の環境で動けるかということです。実際の環境というのはバーチャル空間とは違い凸凹のある表面があったり今まで見たことのない地形に出くわしたりと様々です。インプットからアウトプットにマッピングすることができないほど実際の解空間は大きく、このような深層学習による動き方で実際の複雑な環境に対応できるかは微妙です。実際、動物型のロボットはフィードバック制御を搭載して、その状況に適した動きをしていますし、深層学習だけによる動物型のロボットの成功は知られていません。ですから、このバーチャルマウスのAIが実際のマウス型ロボットに搭載された際に正常に動くかは疑問視されるべきであり、もし実空間で動かないのであれば本論文が実際の脳をシミュレーションしているとはいいがたいわけです。

(ちなみに。この論文はハーバードとDeepMindのコラボレーションです。深読みかもしれませんがDeepMindはアルファ碁の開発でも知られるGoogle傘下の深層学習の研究所であるため、このように深層学習だけを使うことにこだわったのかもしれません。)

という懸念点もありつつも、AIを使った脳の理解というアプローチは面白いなあと思わせてくれる論文でした。

引用
Merel, J., Aldarondo, D., Marshall, J., Tassa, Y., Wayne, G., & Ölveczky, B. (2019). Deep neuroethology of a virtual rodent. arXiv preprint arXiv:1911.09451.