【イベントレポート】LangSmithによるLLMアプリケーションのLLMOps構築〜トレース・データセット作成・評価〜
こんにちは、加藤(@tomo_k09)です。 PharmaXでは、月1ペースでテックイベントを開催しています。
10月には「LangSmithによるLLMアプリケーションのLLMOps構築〜トレース・データセット作成・評価〜」をテーマにイベントを開催しました。
PharmaXのサービスでは、LLMを使ったマルチエージェント・アプリケーションで、薬剤師向けの提案や自動送信を行っています。これにより、迅速でパーソナライズされた対応が可能となり、ユーザーの返信率や購入率が向上しました。また、安全性のために、LLMの出力評価と再生成機能も導入しています。
マルチエージェント構成はLangChain・LangGraphで構築され、実験管理や評価にはLangSmithを活用しています。この仕組みにより、プロンプトのチューニングサイクルが高速化され、アノテーションデータの蓄積とfine-tuningで精度向上とコスト削減を両立しました。
今回のイベントでは、これらのLLM Opsの構築方法についてお話しました。
PharmaX株式会社
登壇者：取締役・エンジニアリング責任者 上野彰大
東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。
※本資料は、ServerlessDays2024での登壇資料と同一の内容となっております。
モデレーター：PharmaX株式会社 エンジニア 加藤智之
北里大学薬学部卒業。 2019年12月に代表の辻から誘われ、第一号エンジニア社員としてPharmaX株式会社（旧・株式会社YOJO Technologies）にジョイン。ソフトウェアエンジニアとして、PharmaXのサービス開発に携わっている。薬剤師免許所持。
アーカイブ動画（LangSmithによるLLMアプリケーションのLLMOps構築〜トレース・データセット作成・評価〜）
アーカイブ動画もございますので、ぜひご覧になってください。
次回イベントのお知らせ
11月6日に『LLM Night〜LLMマルチエージェントにおけるアプリケーション設計〜』というイベントを開催予定です。 先着順ですので、お早めに参加の申し込みをお願いいたします。
PharmaX株式会社の採用情報
私たちとともにオンラインを中心とした新しい医療体験を一緒に作ってみたいと思った方、もっとPharmaXについて知りたいと思った方はぜひ弊社の採用情報をご覧になってください！カジュアル面談も大歓迎会です！