DeepLabCut: 自由行動下での動物行動トラッキング
脳の最終出力である行動を客観的指標に基づき研究するためには、その定量化が必要である。定量化のためにはビデオを用いた行動のレコーディングが行われることが一般的だが、ビデオから手作業でポーズを抽出するのは非常に時間がかかり、解析できるデータ量が制限される。また、何らかのマーカーを動物につけることでトラッキングする場合もあるが、それが本来の行動を制限する可能性があり、また実験前にどのような部位をトラッキングするか決めておく必要がある。
「ビデオをレコーディングするだけで行動の特徴量の抽出、定量化を行ってくれればいいのになあ」と誰しもが望んでいたであろうが、それをディープラーニングの技術を用いて可能にしたのが今回紹介する論文のDeepLabCutである。
Mathis, Alexander, et al. "DeepLabCut: markerless pose estimation of user-defined body parts with deep learning." Nature neuroscience 21.9 (2018): 1281-1289.
Methods
図1では、DeepLabCutの解析パイプラインが示されている。まず、画像中の動物の体の部位を手動でマーキングしたトレーニングデータを与える(図1A,B)。次に、物体認識等に用いられる学習済みＣＮＮであるResNet-50をエンコーダー層に持ち、新しくセグメーテーンション用のデコーダー層を追加したディープニューラルネットワークにデータを与え、教師あり学習を行う(図1C)。この際に、特徴量抽出に用いるエンコーダー層は、ヒトのポーズトラッキングに用いられていたDeeperCutを応用しており、これにより動物の体の部位のトラッキングが可能であることを示している。また、ここで用いられている技術は転移学習と呼ばれ、他のデータやタスクで学習したモデルを新たなタスクの学習に用いることで、少数の学習データや短い学習時間で高い性能を出すことを可能にする。最後に、この転移学習したネットワークを用いてテストデータに対するポーズトラッキングを行う(図1D)。
Results
図2では、DeepLabCutが少ないトレーニングデータ数で精度よくポーズトラッキングをできることが示されている。マウスの匂い追跡課題中の鼻と尾のトラッキングは、正解からの平均のズレが5ピクセル以内であり、ヒトと同程度の検出ができた(図2D,E)。また、このズレとトレーニングデータ数の関係をプロットすると、トレーニングデータ数が100程度と少数でも5ピクセル程度のズレという高い精度を実現できることが示された(図2F)。
以降では、DeepLabCutが複数個体のポーズトラッキングにもある程度応用できること(図4)、ショウジョウバエのトラッキングもできること(図6)、マウスの手指といった複雑な構造もトラッキングできること(図7)が示されており、普遍的に動物行動のポーズトラッキングに適用できる手法であることが主張されている。
Discussion
それほど技術的な新しさはないようだが、簡単に使える一連のパイプラインを構築し普及させたことで、動物の行動研究で体の部位のトラッキングとその定量化を行う研究がこれをきっかけに爆発的に増えたという意味でゲームチェンジャーとなった研究といえる。
また最近では他にも性能の良いポーズトラッキングのツールが開発されており、Google Colabで動くチュートリアルなども作成されている。分野が流行するかどうかの要素の一つに参入障壁の低さがあげられると思うが、このように誰でも研究の最前線で使われている技術を再現できるということは、人工知能が動物行動の解析を含めた様々な分野に普及している理由なのだろう。
2022年には複数個体の動物で同様のポーズトラッキングを高精度に行う手法が2本同時に出版されている。
Lauer, J., Zhou, M., Ye, S. et al. Multi-animal pose estimation, identification and tracking with DeepLabCut. Nat Methods 19, 496–504 (2022).
Pereira, T.D., Tabris, N., Matsliah, A. et al. SLEAP: A deep learning system for multi-animal pose tracking. Nat Methods 19, 486–495 (2022).
これにより動物の社会行動なども研究することができ、さらに応用範囲が広がった。3Dでこのような動物行動のトラッキングを行うことなどが今後の課題として考えられるが、その解決も時間の問題だろう。これからは動物行動のトラッキングという脳からの出力の情報を得たうえで、それをどのように生物学的に面白い現象と結び付けて理解していくかという部分が腕の見せ所といえそうだ。
参考文献
Cajal_PoseEstimation_Branson.ipynb - Colaboratory (google.com)
DeepLabCutは、ビデオから動物のポーズを自動追跡するための深層学習ツールである。ディープニューラルネットワークを使用して、少数のトレーニングデータで高い精度を実現できる。複数の個体や異なる種、複雑な構造のトラッキングも可能であり、動物行動研究における重要なツールとなっている。
サムネイル画像の出典:https://www.nature.com/articles/s41593-018-0209-y