LLM Night〜LLMアプリケーションの評価の実運用〜
こんにちは、古家(@enzerubank)です。 PharmaXでは、月1ペースでテックイベントを開催しています。
11月第2弾は「LLM Night〜LLMアプリケーションの評価の実運用〜」というテーマでイベントを開催し、LLMアプリケーションの評価に取り組む各社にお集まりいただき、評価に関する知見や工夫をなどの実践的な内容をお話しいただきました。 本記事では、そのイベントで話し合われた内容をご紹介します。
株式会社Citadel AI
登壇者： 杉山 阿聖様
Citadel AI にてソフトウェアエンジニアとしてプロダクト開発に従事。Google Cloud の Champion Innovator (AI/ML) に選定されたほか、MLSE (機械学習工学会) で MLOps に関するワーキンググループを主催し、MLOps に関する事例・知識の普及に務める。 「見て試してわかる機械学習アルゴリズムの仕組み 機械学習図鑑 (翔泳社)」「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋 (講談社)」を共著。
LTタイトル： LLMOps: Eval-Centric を前提としたMLOps
機械学習モデルの運用には困難がつきまとうことはよく知られ、それらへの対策は MLOps という知識体系にまとめられました。しかし、MLOps の知識体系をもってしても LLM を利用したアプリケーションを運用することは容易ではなく、とくに評価は既存の知識体型では不足します。ここでは LLM の運用は既存の知識以上のものが求められる理由と、運用上の課題、そして新たに発見された LLM のベストプラクティスについて紹介します。
株式会社Gaudiy
登壇者： seya様
NY州立大学 Stony Brook Computer Science 科卒業後、ソフトウェアエンジニアとして働き始める。フロントエンドエンジニアとして長年働いていたが、2023年6月に Gaudiy に入社後、LLMの楽しさに魅せられLLMアプリエンジニアに転身。現在はLLMを使ったアプリケーション開発・運用に取り組む。
LTタイトル： 継続的な評価基準と評価の実行の仕方をアップデートするワークフロー
LLMを使ったプロダクトを世に出す上では評価が肝です。ですが最初から評価基準が見えきっていることなどはあり得ず、また初期からプロダクトの価値に貢献するLLMの使い方か分からない内にオフライン評価に投資し過ぎるのも得策ではありません。 このため「継続的に評価基準をアップデートしていく」ということを念頭に置くことが大事です。このLTではそんなアップデートしていくワークフローについて語ります。
PharmaX株式会社
登壇者：取締役・エンジニアリング責任者 上野彰大
東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。
LTタイトル：LLMアプリケーションの評価と継続的改善
PharmaXは、健康を一生涯サポートするかかりつけオンライン薬局『YOJO』を運営しています。 YOJOでは、LLMのマルチエージェント・アプリケーションを構築し、メッセージの薬剤師への提案や一部自動送信を行っています。 LLMアプリケーションを評価し、継続的に改善する手法について語ります。
アーカイブ動画（LLM Night〜LLMアプリケーションの評価の実運用〜）
アーカイブ動画もございますので、ぜひご覧になってください。
次回イベントのお知らせ
12月17日に『LLMアプリケーションのFine-tunningと蒸留を活用した改善』というイベントを開催予定です。 先着順ですので、お早めに参加の申し込みをお願いいたします。
PharmaX株式会社の採用情報
私たちとともにオンラインを中心とした新しい医療体験を一緒に作ってみたいと思った方、もっとPharmaXについて知りたいと思った方はぜひ弊社の採用情報をご覧になってください！カジュアル面談も大歓迎会です！