センサを用いた行動認識（Sensor-based Human Activity Recognition）

この記事は人工知能学会「私のブックマーク」2021年3月号に寄稿した物のほんの一部を、推敲もかねて載せます。マガジンに連載予定です。

センサ行動認識の研究論文は190万件以上！

近年、スマートフォンをはじめとする携帯デバイスが爆発的に普及しましたが、スマートフォンの中には、半導体集積技術を使ってセンサなどの機械部品を作るMEMS(Micro Electro Mechanical Systems)技術の実用化のおかげで、すでにいろいろなセンサが搭載されています。
例えば、バネの変化を図る三軸加速度センサや、振動する物体が回転するときにかかるコリオリ力を図る角速度センサ(ジャイロセンサともいう)といったものです。
このように簡単に誰もが使うようになった、身につけることができる（ウェアラブル）センサ、または環境に設置されたセンサから、「歩いている」「自転車に乗っている」といった人間の行動を認識する技術が、センサ行動認識技術であり、IoT（Internet of Things)時代に活用できる技術として、さかんに研究されています。

ただ、「Human Activity Recognition」というキーワードでGoogle Scholarを検索すると、推定190万件以上の論文がヒットします！
もう多くの研究がなされた、すでに枯れた研究なのでしょうか？

私はそうは思っていません。なぜなら、これだけ研究論文がありながら、人間のあらゆる行動を認識できる技術はまだ確立されていないからです。
ここでは、センサ行動認識のチャレンジを列挙しながら、研究動向のリンクを紹介します。

センサ行動認識の概要

センサ行動認識技術の基本は、[Andreas14]に詳しい解説があります。
また、日本語では、拙記事[ファジィ17]が詳しいです。

[Andreas14] Bulling, Andreas, Ulf Blanke, and Bernt Schiele. "A tutorial on human activity recognition using body-worn inertial sensors." ACM Computing Surveys (CSUR) 46.3 (2014): 1-33.

[ファジィ17] 井上 創造, "ウェアラブルセンサを用いたヒューマンセンシング", 日本知能情報ファジィ学会誌, pp. 170-186, 2017/01/01.

センサ行動認識においては、入力のセンサデータから
1. 移動時間窓をとり、
2. 特徴量を計算し、
3. 特徴量を説明変数、行動の種類（行動クラス）を目的変数として教師あり機械学習をする

というステップを踏むのが王道です。
この前か後に、どこからどこまでが一連の行動かを判定する
4. セグメンテーション
を行うこともあります。

詳しくは[ファジィ17]を参照していただきたいですが、
1は時系列信号処理では一般的な処理であり、3は一般的な教師あり機械学習ですが、2については行動認識ならではの特徴量もいくつか提案されています。

ただ、センサ行動認識が他の認識技術と異なるところは、そもそもセンサデータが行動を認識できるための十分な情報を含んでいないことが往々にしてあることです。
例えば、

・行動は体全体で行うのに、スマートフォンのように一つのデバイスを体の一カ所にしか身につけていなかったり
・同一の行動でも、コンテキストによって「座っている」「会議をしている」のように行動種が異なる

と言った場合には、センサだけでは十分に情報を含んでいません。

そのため、2の特徴量をいかにがんばっても、そもそも十分な情報を含んでいないため精度に大した違いはないことも往々にしてあります。

また、3は通常の機械学習とは言っても、訓練データとテストデータをランダムにサンプリングすると、

・同一の行動シーケンスからの移動時間窓が学習・テストデータの両方に存在してしまう

といった交差検証の過ちが起きてしまいます。
対象の行動シーケンスごと学習データから除外した交差検証に気をつける必要があります（私が査読する論文の半分以上はこの過ちを犯している感があります）。

学会など

センサ行動認識が発表される学会はいろいろありますがが、UbiComp国際会議および併催するISWC(ウェアラブルコンピューティング)シンポジウム、そしてIEEE PerComがこの分野の最難関カンファレンスです。
2017年からUbiComp、2020年からISWCが、IMWUTというジャーナルモデルに変更になり、年4回の締め切りに投稿し、採録されたらUbiComp/ISWC国際会議で発表するというしくみになりました。

[IMWUT] Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies]

PerCom 2021 | PerCom - IEEE International Conference on Pervasive Computing

最近はSensorsというオープンアクセスジャーナルも盛んになってきています。

Sensors

これらはユビキタスやウェアラブル一般の話題ですが、UbiComp/ISWCにて行動認識に特化した併設ワークショップとして[HASCA]を、私たちが2013年から開催しており、この国際会議で最大のワークショップとなっています。

HASCA2020

また、2019年から筆者を中心にActivity and Behavior Computingという国際会議を立ち上げ、センサ行動認識およびその応用に特化した国際会議を開催しています。ご興味ある方はぜひ投稿をご検討いただければと思います。

ABC2021

https://www.amazon.co.jp/Activity-Behavior-Computing-Innovation-Technologies/dp/9811589437

コンペティション 

上記HASCAワークショップやABC国際会議において、いくつかのコンペティションをやっており、センサ行動認識の研究を始めたばかりの学生などが盛んに参加し、さらに論文も出版されるので、お得なコンペティションとなっています。
センサ行動認識にご興味ある方、ぜひご参加いかがでしょうか？

 [Nurse19] Nurse Care Activity Recognition Challenge 2019 at HASCA2019

[Cook20] Cooking Activity Recognition Challenge at ABC2020

 [Nurse20]Second Nurse Care Activity Recognition Challenge - From Lab to Field - at HASCA2020

 [SHL] Sussex-Huawei Locomotion Challenges

チュートリアル、コード付き論文

センサ行動認識のサンプルプログラムを知りたければ、以下にPythonでのチュートリアルがあります。

Human Activity Recognition (HAR) Tutorial with Keras and Core ML (Part 1)
Human Activity Recognition (HAR) Tutorial with Keras and Core ML (Part 2)

こちらも、Pythonでのチュートリアルです。

MobileHCI 2018 tutorial: Machine Learning for Intelligent Mobile User Interfaces using Keras

また、PaperWithCodeというサイトで検索をすれば、GitHub等でコードを公開している論文が見つかり、便利です。
例えば次のように検索するといいでしょう。
いくつかの論文とコードが見つかります。

Papers with Code - Papers With Code : Search for sensor based human activity recognitionPaperWithCodeで"sensor based human activity recognition"を検索

これらのブックマークを元に皆さんもセンサ行動認識にチャレンジして、コンペティションに参加して、論文出版を目指しましょう！