猫の痛み検知AI「CatsMe!」が生まれるまでの話②
こんにちは、猫の痛み検知AI「CatsMe!」（キャッツミー）を開発・運用している株式会社Carelogyです。
今回は、非常によく聞かれる、「猫の痛み検知AIが生まれるまでの過程」についての第二弾です。
開発過程について詳しく書いています。
開発するぞ！となったものの…
猫の表情から痛みを判別するAIを開発することを決意して以降、まずはAIに学習させるデータ集めが必要でした。
今回のAIは、猫の顔画像を分析し、目や耳等の特定の部位に点数付けをしているわけではなく、
「この画像は獣医学的に痛みのある表情だよ」「この画像は痛みのない表情だよ」を目視で振り分け（獣医療専門家）
振り分けた画像をAIが学習（AI開発者）
という手順で開発しています。
つまり、AIが「痛みがあると獣医学的にされる表情ってこういう特徴があるんだな…」というのを良い感じに学習していったのです。
目視で振り分けする際の理論は、Feline Grimace Scale（直訳：猫のしかめっつら指標）という目・耳・髭・口元・頭部位置の5か所の点数付けに基づくため、
AIもきっと「痛みがある猫は目がこうなってるのが多いねー」「口元がこんな感じだと痛みあるっぽいよねー」といった形で学んでいっているはずです。
しかし、AIの性質上、AIがどこを見てどう判断しているのかは、AIのみぞ知るというのが正しい理解なのです。
AI精度を上げる過程
AI精度を上げるには、上記の過程で進めていく以上、目視で振り分けを超大量に行う必要があります。今回、私たちは、日本大学生物資源科学部獣医学科との共同研究により、獣医療の専門家の方に大量に画像を振り分けていただきました。
その量、なんと6,000枚以上に及びます。
振り分け結果をAIに学習させていくのですが、ここも一筋縄ではいきませんでした。
まず、大きな問題としてあったのが、痛みありの学習画像が少ないという点です。学習用画像には、日本大学動物病院より研究用に共有いただいた画像に加え、インターネットの権利フリー画像を用いました。当然、インターネットにある猫は、可愛くて元気な猫の画像が多く、痛みありの画像を一定量確保するのは至難の業でした。
そのため、AIの開発時、痛みありの特徴をよりAIがしっかりと学べるよう、AI開発時の工夫（学習に関するパラメータの調整等）を行いました。
また、あらゆる言語で「猫 権利 フリー画像」に関する調査・検索を行い、とにかく量を集め、その中に少しは痛みありの画像入っているだろう作戦も決行しました。
※毎日出社直後、何頭かの猫画像集めルーティンを皆でこなすという時期も設けました。良い思い出です。
必死に画像を集め、大量に画像を振り分けていただき、AIの調整を徹底的に行った結果、猫の表情から獣医療的に痛みがあるかないかを判別する精度が90%に達しました。
※2023年5月のリリース後、多くの方に使っていただいた画像も再度学習用に利用した結果、2023年10月時点で95%以上まで高まりました！
精度って何？
精度95%以上というのが意味しているのは、以下になります。
「日本大学の臨床現場における麻酔が効く前後の手術画像を用いて、AIにこの猫は痛みを抱えているか否かを表情分析だけで答えてもらったところ、実際の正解と同じ回答を出した割合が95%以上でした」という意味になります。
※精度検証テストで95点以上だったという意味です。
臨床現場の麻酔が効く前後というところがポイントで、必ず痛みがあるとき、必ずないときの画像を用いることで、AIに答えてもらう問題と正解のデータを確実なものにしました。
問題と正解に使った猫の画像は、AI学習には用いておらず、AI目線、初めて見た猫の画像を判定して、精度の検証をしています。
リリース
精度が90%となった2023年5月、猫の痛み検知AIは初期版をリリースしました。
その後、紆余曲折を経て約1年間で約30万人の方に使っていただくサービスとなりました。
次回は、まさにその紆余曲折の部分、この約1年間の歩みを
「使っていただく方が増えていった過程」や「追加で開発していった過程」等に分けてお話します。