AzureからGPTを使ってみる | LangSmith編（ログの収集：その１）

LangSmith

LangSmithとは、本番レベルの LLM アプリケーションを構築するためのプラットフォームです。どのようなことができるかというと、

・LLMの実行ログの収集（ログと一緒に利用トークン数も収集できます）
・データセットの作成
・モデル評価

LLMを利用する上でLangSmithが便利というのを聞きくので、使いながら勉強していこうと思います。
無料でも使えるので、APIを取得して使ってみます。
ログインした後、Setting>API keysからCreate API Keyで取得できます。

ログの収集

まずは、簡単に以下のコードのログを確認してみます。

#.env file
#langsmithの変数のみ抜粋

LANGCHAIN_TRACING_V2=true
LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
LANGCHAIN_API_KEY="your API key"
LANGCHAIN_PROJECT="Smith-test01" #任意

#langchain-openai=0.1.15
#langchain=0.2.7    
#langsmith=0.1.84 
from langchain_openai import AzureChatOpenAI
from dotenv import load_dotenv
import os

# OpenAI APIキーの設定
dotenv_path = ".env"
load_dotenv(dotenv_path)

OPENAI_API_BASE = os.getenv('OPENAI_API_BASE')
OPENAI_API_VERSION = os.getenv('OPENAI_API_VERSION')
OPENAI_API_KEY = os.getenv('OPENAI_API_KEY')

os.environ["AZURE_OPENAI_API_KEY"] = OPENAI_API_KEY
os.environ["AZURE_OPENAI_ENDPOINT"] = OPENAI_API_BASE

LANGCHAIN_TRACING_V2=os.getenv('LANGCHAIN_TRACING_V2')
LANGCHAIN_ENDPOINT=os.getenv('LANGCHAIN_ENDPOINT')
LANGCHAIN_API_KEY=os.getenv('LANGCHAIN_API_KEY')
LANGCHAIN_PROJECT=os.getenv('LANGCHAIN_PROJEC')

llm = AzureChatOpenAI(
    api_version=OPENAI_API_VERSION, 
    azure_deployment="gpt4o" # model = "deployment_name"
    )

prompt ="hello"
messages=[
("user", prompt)
]

response = llm.invoke(messages)

print(response.content)

LangSmithのprojectを確認してみると、新しくprojectができています。

中身を確認するとちゃんとログが取れていることが確認できました。

LangSmithが使えていることが確認できたので、次回からいろいろ試してみようと思います。