python でmlflow使うメモ

実験結果を比較するために便利っぽいので使ってみた。使う際の手順をメモしておく。

mlflow のインストール

pip install mlflow

クイックスタート

pythonで以下のような記述を用いる。

with mlflow.start_run():  
mlflow.log_param("a", 1)  
mlflow.log_metric("b", 2)  
mlflow.log_artifact("output.txt")

log_paramにはパラメータを入れる。

log_metricには損失関数や評価指標を入れる。valueには数値しか受け付けない。

log_params({“example”:hoge，“example2”：True})の方が便利。 同様にlog_metricsもある。

log_artifact でファイルを保存できる(csvやjsonなど)。metricの書式に当てはまらないものをこちらで保存する。

実験の種類ごとに枠を作る

CLI で以下を実行してexperimentを作成する。

mlflow experiments create --experiment-name fraud-detection

CLI でexperimentが作成されたことを確認。

experiment _idをメモしておく。

mlflow experiments list  

以下のようにpythonで記述して、experimentを指定する。

mlflow.set_experiment('experiment_name')  
 
with mlflow.start_run():  
  mlflow.log_param("a", 1)  
  mlflow.log_metric("b", 2)  
  mlflow.log_artifact("output.txt")  

実験結果の比較

CLIでサーバーを立ち上げる。

mlflow ui

表示されたアドレスをブラウザで開く。

サーバーを落とす時はctrl＋c。