python でmlflow使うメモ

実験結果を比較するために便利っぽいので使ってみた。使う際の手順をメモしておく。

mlflow のインストール

pip install mlflow

クイックスタート

pythonで以下のような記述を用いる。

with mlflow.start_run():
   mlflow.log_param("a", 1)
   mlflow.log_metric("b", 2)
   mlflow.log_artifact("output.txt")

log_paramにはパラメータを入れる。

log_metricには損失関数や評価指標を入れる。valueには数値しか受け付けない。

log_params({"example":hoge})の方が便利。 同様にlog_metricsもある。

log_artifact でファイルを保存できる(csvやjsonなど)。metricの書式に当てはまらないものをこちらで保存する。

実験の種類ごとに枠を作る

CLI で以下を実行してexperimentを作成する。

mlflow experiments create --experiment-name fraud-detection

CLI でexperimentが作成されたことを確認。

experiment _idをメモしておく。

mlflow experiments list

以下のようにpythonで記述して、experimentを指定する。

mlflow.set_experiment('experiment_name')

実験結果の比較

CLIでサーバーを立ち上げる。

mlflow ui

表示されたアドレスをブラウザで開く。

サーバーを落とす時はkillする。(あんまりスマートじゃないなぁ？)

今回のはまりどころ

experiment を新しく作成して、新たにサーバーを立ち上げようとするときにエラーが出るときは、既にサーバーが立ち上がってるのかも。

kill して対応した。