リモート入社新卒二年目のインタビュー～第三弾～

こんにちは！
Ava Digital Innovatorのnote編集部の永井です。
今回は「リモート入社新卒二年目のインタビュー」という連載企画で、Digital Innovation Studio（以下、DISと記載）所属の新卒入社二年目のみなさんにインタビューしていきたいと思います！
日本では、東京都港区六本木に拠点を置く、アバナードには、画像認識や機械学習R&Dに関連するプロジェクトが数多くあります。それら最新のソリューションをどのように開発しているのか、気になる方もいらっしゃるのではないでしょうか。
第三弾として、私と同期入社（2020年4月）であり、画像認識プロジェクトの開発を担当している松井さんに画像認識プロジェクトについて、ざっくばらんに話してもらおう！というのが本日の趣旨です。

永井：松井さん、よろしくお願いします！

松井：はじめまして！アバナード Digital Innovation Studioの松井です。国内の大学を経て、2020年4月に新卒としてアバナードに入社しました。

永井：2020年4月に入社してから約二年が経ちますが、現在までのプロジェクト経験について教えてください！

（左：永井、右：松井）

松井：入社してから3か月ほどビジネス研修、C#などの技術研修を受けた後にプロジェクトと配属となりました。プロジェクトでは.Netを使用したアプリケーションの詳細設計から単体テストやNode.JSを使用したAPIの開発などを行いました。現在は、Azureでのクラウド基盤構築に関連するプロジェクトに従事しており、Azure App ServiceやAzure Data FactoryなどAzureの様々なサービスを使いクライアントの課題解決を行っています。DISでは画像認識・機械学習R&Dのプロジェクトに参画しており、具体的には、無人店舗・スマートストアのソフトウェア開発を行っていました。

永井：無人店舗・スマートストアといえば、Amazon GOを想起しますがそのようなものでしょうか？

松井：その通りです。従来のようなPOSレジを置かず商品売買を行うことは、企業側にとって人件費の削減につながりますし、消費者に対してもシームレスな買い物体験を提供出来ると思ってます。実際、海外だけでなく国内においても事例としていくつか出ている中で、ニーズが高まってきており今後も加速していくと感じてます。

永井：レジレスだけでなく、決済も自動化されればより快適な買い物体験が出来そうですね！実際のプロジェクト内での役割は何でしょうか？

松井：このプロジェクト内での担当の一つとして、機械学習モデルの構築を担当しました。構築の手順と具体的に行った作業は以下になります。

1．教師データの準備
機械学習を行わせる場合は、データの準備が必要です。大量の画像データをコンピューターに学習させることで、精度の高い結果の出力が可能になります。精度の高い結果を出力するにはデータの「量」と「質」に拘る必要があります。どちらが欠けても精度の良い結果は期待できないので、地道ではあるのですがデータの準備を行う必要があります。
具体的には、店舗に置く商品を撮影します。同じ商品を同一角度、別の角度から何枚もの写真の撮影を行ったり、人物の動作推定に関しては、同じ動作を行う動画を何度も撮影することで、データの「量」と「質」を担保していきます。また、商品を取るという人物の動作をどの位置からカメラで撮影するかによって精度に影響が出てくるので、三角関数を使って最適なカメラの位置を算出したりしました。

2．アノテーション
1で収集した画像データのどの項目を読み込ませるか目的を定め、各データを同じような基準で測定できるように設計します。目的に関係がないデータを収集しても、画像認識で成果は出ないので、抽出するデータ項目を細かく定めて、該当するデータを収集して読み込ませることで、画像認識の精度は高まります。
具体的には、LabelImgというグラフィカルな アノテーションツールを使用し、写っている物体に対して「商品」というタグを付与したり、商品を取得する物体に対して「人間」とタグを付与したりして、特定のデータに対して情報タグ（メタデータ）を付加することを行いました。

3．モデルの構築
データの前処理完了後、機械学習のモデルを構築していきます。
一般的に、処理を一からプログラムで書いていくことは行わず、物体検出の実装をサポートしてくれるフレームワークを活用してモデルの構築を行っていきます。
具体的には、Pythonの学習環境をセットアップし、その後TensoFlowのObject Detection Toolを利用して、モデルに学習させました。

（プロジェクト資料より引用）
※モデルを構築後の物体認識を行っている画像

4．モデルの評価
モデル構築後は、機械学習のモデルの評価をしていきます。
構築したモデルから出力される結果がどれくらいの精度なのかを明らかにすることでどれくらい正確なのかを可視化することが可能です。
具体的には、TensorFlowの機能であるTensorboardというダッシュボードのようなもので精度を可視化することでモデルの評価を行いました。

（プロジェクト資料より引用）

若干マニアックだったかもしれませんが、以上が本プロジェクトで担ってきた私の役割です。

永井：モデルの精度を高めるために、データを収集する部分から分析・前処理を行いモデルを構築するまでの作業が具体的に見えてきました！しかし、上記のような作業を行うのは長期的な作業になりそうな気がします。。

松井：無人店舗・スマートストアのPoCに関しては2～3か月間で行われました。一方、AI処理機能を搭載したセンサー付きカメラを活用した白杖検知の開発のPoCの際には、機械学習だけでなくパターン認識の組み合わせを行うことで、通常より短期間で精度の高い白杖検知を開発を行うことが出来ました。具体的には、人がどうやって白杖を持っているか、白杖は何色か、輪郭はどうかなど、多様な要素・パターンを組み合わせることでより精度の高いモデルを構築していきます。以上のことを行うことで約二週間で白杖検知のソリューションを開発することが出来ました。

（プロジェクト資料より引用）

永井：データの「量」と「質」に重きを置くことでよりスピード感を持ち開発を行うことが可能ということが理解出来ました！画像認識や機械学習と聞くと最先端でクールな印象がありますが、実際の作業を聞いていると、かなりギャップがある印象です。。

松井：機械学習というとカッコいいイメージがありますが、実際の作業は地道なものという印象です。上記にもあるように、機械学習に欠かせないデータを収集して活用できるように加工する以外にも、オープンソースのパッケージを使用する中での不具合が発生するたびに原因を特定しなければならず、それに時間が割かれたりと色々大変だった記憶があります。（笑）

永井：やはり比較的新しい技術を実際の業務として使えるようにするには大変な苦労がありますね。。
では最後に今後チャレンジしていきたいことを教えてください！

松井：直近では現在携わっているAzureでのクラウド基盤構築を無事完了させたいと思います。その中でAzureの知識について不足している部分が多いので知識を増やしていきたいと思います。
また、画像認識はもともと興味があった分野なので、これを機に理解を深めていき、これからも画像認識関連のプロジェクトに携われたらと思っています！

永井：ここ数年、画像認識が実ビジネスで活用されてきており、アバナード内でもAzureを活用した画像認識ソリューション開発に関連するプロジェクトが多くあるので是非これからも携わっていけると良いですね！
松井さん、本日はありがとうございました！

松井：ありがとうございました！

「リモート入社新卒二年目のインタビュー」の連載企画は今後も継続予定なので、引き続きAva Digital Innovatorをよろしくお願いします！

* Azure製品（Azure App Service、Azure Data Factory） は、米国 Microsoft Corporation の米国及びその他の国における登録商標または商標です。
* その他、記載されている会社名、製品名は、各社の登録商標または商標です。