MLOpsの勉強メモ 5 - バッチ処理で推論を行う

MLOpsを勉強すべく、「AIエンジニアのための機械学習システムデザインパターン」を読んでいる。

AIエンジニアのための機械学習システムデザインパターン

勉強メモ1〜4では、学習パイプラインを構築し、推論器をKubernetesクラスターにデプロイする、Web API化する、ということをやった。

本記事は「4.5 バッチ推論パターン」についてのメモ。

バッチ推論パターンのユースケース

以下のような場合、バッチ処理で推論を行う：

• リアルタイムで推論する必要がない

• 大量のデータをまとめて推論したい場合

• 夜間や、1時間ごと、1ヶ月ごと等、定期的に行いたい場合

構成に関するメモ