シュッと WandB を使ってみた

ちゃっす(/・ω・)/

先日 LangSmith をちょろっと触ったのですがやっぱり LLM アプリケーションのモニタリングも大事よね～

というところで Weights & Biasese さんの記事を見かけましたの(/・ω・)/

LangSmith とはどう違うのかな～というのが気になったのでミニマムで触ってみた。

という話。

いざ連携

LangChain との連携はものすごーく簡単

必要なものいれーの

!pip install -U langchain openai wandb

ポンッ！！

import os
os.environ["LANGCHAIN_WANDB_TRACING"] = "true"
os.environ["OPENAI_API_KEY"] = "sk-"

from langchain import OpenAI
OpenAI().predict("Hello, world!")

wow (　ﾟдﾟ)

認証は多分 Colab と同じ Google Account で WandB 開いてたからか特に求められなかったでございます(/・ω・)/

したらなんかプロジェクトがシュッと作られて

概要

Summary

Trace Timeline

なんかがシュッと見れちゃう(/・ω・)/

便利ー

レポート作成

シェア

なんかもできるみたい(/・ω・)/

LangSmith の機能を比較するとプロンプトのプレイグラウンドやらテストデータの保存、テスト実行がないのかな？というのが気になったくらいでございます（ひょっとしたらできるのかも？）

モニタリングとしての見やすさ、使いやすさは今のところ WandB の方が好きでございます(/・ω・)/

機械学習とか元々やってた人には WandB おなじみかと思うのでそういう方にもよいのではないかと～

とりあえず触ってみただけなのであれですが、もうちょいがっつり WandB と LangSmith つかってモニタリングやらしていきたい所存。

おしまい。