見出し画像

[Web画像収集編]AITRIOSを使って味噌のカビを推論してみた！

痛快技術株式会社

味噌作りのその後……カビの発生をAIで監視できるのか！？

新しい取り組みとして、ソニーのエッジAIデバイス「AITRIOS」を使って、味噌に発生するカビを推論できるかチャレンジしてみました。


前回記事

味噌作り体験回イベントを開催して、「AIで動く作るみそ作り装置」をお披露目しました。

その他の過去記事はマガジンから見れます！




AITRIOSとは？

AITRIOSは、エッジAIを活用した画像認識デバイスで、クラウドに依存せずにデバイス単体で推論が可能な優れものです。これを利用することで、味噌の発酵中に発生するカビの検知をリアルタイムで行い、カビの状態を可視化することができるのではないかと考えました。

これまでの味噌作りでは、カビの発生を目視で確認していましたが、これをAIで自動化し、適切なタイミングで対処できるようにするのが今回の狙いです。


モデルを作りたい

AITRIOSを使う上で絶対通る道は物体認識させる為にモデルを作成しないといけません。

モデルの作成方法は色々あります。
画像をインポートして作る方法、  AITRIOSのエッジデバイス本体で撮影してモデルを作る方法など。

画像インポートはスマホで撮影した画像データでもOKです。極端な話を言えばWebにころがってる画像をインポートしても問題ないです。

実際に味噌とカビのモデルを作ってみました。


インターネットから画像収集 

Google先生に画像が無いか聞いてみました。
カビも複数存在するので、今回は白カビに限定します。

個性豊かな白カビ達が出てきましたね。

中には画像データが暗号化されて画像が開けないデータもも存在しました。
こーゆう時はPCのスクショを使って保存します。
画像収集するのも一苦労です。

さて色々な形があるのではたして学習するのでしょうか・・・？？？ 


インポートしてタグをつけよう

AITRIOSのConsole Developer Editionを使ってモデルを作成してみます。   

予めダウンロードした画像データをアップロードしてみましょう。

下のような感じでタグを付けることが可能です。同じ画像でも複数のタグを付けれます。

1枚の画像に対して1～4つくらい各タグをつけて見ました。

注意してほしいのが一つのタグに対して最低15枚の画像データが必要です。
タグを付け終えたら下の画像のような感じでグループ分けがされます。

味噌にタグつけされた画像一覧
カビにタグつけされた画像一覧


初回の推論結果は・・・

ある程度タグが付けれたので学習させてみました。
初回は最低必要な画像枚数(15枚)で学習させています。 

推論の結果ですが、全体的に値が低い結果に。
タグ毎にみて白カビに関しては、「Precision」「Recall」が０％となっておりモデルとして使うには無理がありますね。


認識するかな？(初回)

試しにデバイスにデプロイして認識するか試しました。

結果は予想通り認識していませんでした。（知ってた）
改善方法を考えます。


数の暴力で学習させる

学習データは多いほどいいと、先代の技術者が語ってたはずです。（知らんけど。）

よろしい、ならば戦争だ！数で勝負します。

画像1枚につき数か所しかタグを付けていませんでしたが、改良後は画像にできるだけタグを増やしたり選択範囲を細かく調整してみます。

更に、画像自体の枚数も増やしました。
はい、正直ここがめっちゃ時間かかりました。(人間のやる作業じゃないかも)

 

🎉推論結果発表🎉

手作業で頑張ってタグを付けた過程のをみてましょう。

2回目の結果です。

味噌の画像枚数を2枚だけ増やし、タグの付け方も改良しています。
Precisionが100%に！
Recall、mAP、 A.Pはまだ改善の余地がありそう。
この時点でデプロイさせて認識するか確認しましたが無理でした。
もっと改良します。


3回目の結果です。

Precisionが100％から何故か69％付近まで落ちてしましました。
改良します。


4回目の結果です。

全体的に精度が上がってきましたね。タグも画像データも増やしました。

まだ改良の余地ありそうなので・・・


5回目の結果です。

遂に全ての値が9割を超えました。
使用した画像枚数は、白カビ27枚、味噌30枚と初回と比べて倍の枚数を使用しています。  


９割超えの値のモデルは認識するのか？

デプロイして味噌とカビが認識するのかためしました。結果は・・・


無理でした ＼(^o^)／ｵﾜﾀ……….

Webから拾ってきた画像はカビの形もバラバラ、カビの生え方も色々ですし、味噌も色も違うので認識させるのが難しいのでしょうか？

画像収集するのも疲れたのでWebからの学習は諦めることにします。 

図書館でカビの本を探してもいいですが、Webから拾った画像のように同じ様な画像データを大量に準備するには不向きですね。

こうなったら方法は一つしかありません。

次回予告

次回予告、カビを栽培させてみます。
カビを無理やり育成させます。最終手段です。

お楽しみに☆


おまけ

体験会から味噌の発酵に約4ヶ月立ちました。味噌の発行状況を見てみましょう。

10月のみそ作り体験会の味噌。The大豆！って色をしています。


11月の発酵状況。あまり変化なさそう。


年が開けて2月に撮った写真。完全密封している方はいい感じに色がついてきました。しかし味噌発酵装置で動かしている方は発酵進んでいるのか・・・・・


美味しい味噌が完成する日は来るのか？！もう少し待ってみます。


クレジット

著作

著作 : 福本 (痛快技術株式会社)
高校生の時Androidのメモ帳でwebサイトを初めて作る。接客業をしていたがある日エンジニアと出会って人生変えたいと思い、プログラムをガチ勉強してエンジニアになる。


提供

HP:  マッスル株式会社
FA機器を始め、ロボット 、医療機器など新常識を創造した製品をつくり続けている。


自社

自社HP： 痛快技術株式会社


痛快技術ではAIの技術を使った開発を行っております。
過去記事も必見！ ！


いいなと思ったら応援しよう！