Microsoft Ignite The Tour Osaka Day 1

Microsoft主催のイベント、Microsoft Ignite The Tour Osaka参加レポートです。

AIML10 - AIを使用して非構造化データを理解する

・日常業務の中で生まれる、紙文書やpdf、テキストファイルなどの構造化されていないデータを扱う
・Azure Cognitive Searchなら非構造化データを扱うことができる
・大まかな流れは、文章の解析⇒エンリッチ⇒DBに登録
・エンリッチ：感情分析など、リッチなインデックスを自動で取り出せる
・Form Recognizer：pdfを数枚学習させると、自動で項目を読み取ってJSONに書き起こしてくれる（表も読み取れる！）

AIML20 - 事前構築済みAIを使用してビジネスの課題を解決する

・AI⇒Human-likeな機能でアプリを強化できる
・Azure Cognitive ServiceにはAPIが30種類ほど。Decisionは新しめのサービス
・学習済みAIの利用（転移学習）が効率的
・外に出せない規制があるデータを用いる場合、Dockerコンテナを利用可能
・100%の信頼度でないから運用をやめるよりも、8割でもいいから適用する方が効率的で有用

AIML30 - これまでにない速さで機械学習モデルの構築を始めましょう

・C#、SQLの知識があるエンジニアはいるが、機械学習エンジニアはいないという場合にどうするか
・機械学習が適切な手段か？⇒適切な課題の設定が必要
・AzureならGUIで簡単にデータセットのカラムを選択したりパイプラインを作ったりできる
・PythonのコードをデプロイしたAPIに埋め込むこともできる（出力が対数変換されている場合など）
・APIのエンドポイントURLの下にコードのテンプレートが書いてあったり、随所に親切心が垣間見える

AIML40 - Azure Machine Learningのベストプラクティスでモデルを次のレベルに進める

・80:20の法則（８割は既存の手法で解決できる）
・自然言語処理：複雑な文法構造や、反対の意味の言葉が混ざっていたとしても、かなり正確に解析できるようになった
・試行錯誤に多大な時間を要する（特徴量エンジニアリング・アルゴリズム選定・パラメタチューニングの繰り返し）
・AutoMLで試行錯誤を自動化。回帰・分類だけでなく、時系列予測も可能
・前処理、モデルの表示、クラス均衡、欠損値補完、データの視覚化などを自動でやってくれる

AIML50 - 機械学習の操作 - データサイエンスへのDevOpsの適用

・ソースコードだけでなく、データもモデルもバージョン管理していく
・データセットという概念で、データのありかをJSONやSQLで管理し、細かいことを隠す
・分類対象の増加、季節変化、場所の変化などで苦労して作ったモデルが使えなくなるリスクにどう対応するか
・本番環境とのデータの差をアラートできるようになってきている
・ただ、いつ再学習させるかは人間が現場の声を聞き取ることも重要