【AWS AI/ML@Tokyo登壇記事】SageMakerとAirflowによる機械学習モデルの運用自動化について

電通デジタルで機械学習エンジニアをしている今井です。
AWS AI/ML@Tokyo にて「SageMakerとAirflowによる機械学習モデルの運用自動化について」の発表を行いました。

電通デジタルでは、事業データによるKPI予測モデルを使ってマーケティング施策を最適化する「X-Stack」を提供しています。
https://www.dentsudigital.co.jp/release/2020/0706-000517/index.html

その一環として下記のようなR&D活動を行っております。
・pLTV: 顧客生涯価値を予測する
・顧客の潜在的な購買特性を加味したpLTV

Amazon SageMakerは独自モデルの運用が可能であり、かつDevOpsに詳しくなくてもモデル運用が容易なことから機械学習基盤として採用しました。
・SageMakerで独自アルゴリズムを使う
・SageMaker Processingで独自アルゴリズムを使う

また、日次での予測モデルの媒体連携を実施するために、ワークフローエンジンであるApache Airflowを導入しました。

LibSVM-ConverterとXGBoostの構築事例

現在は複数のクライアント案件において予測モデルが日々自動運用されています。

推論DAGの詳細

SageMakerはデータサイエンティスト/機械学習エンジニアにとって非常に便利なツールです。
一方で、まだまだ日本語のドキュメントが不足しているために新規ユーザーには少しハードルが高いようにも思えます。
本発表や弊社TechBlogが新規ユーザーの助けになれば幸いです。