【イベントレポート】LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
こんにちは、尾崎(@FooOzaki)です。 PharmaXでは、月1ペースでテックイベントを開催しています。
7月は「LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~」というテーマでイベントを開催しました。
PharmaXでは、薬剤師がチャットする内容をLLMでサジェストするシステムを本番運用しており、マルチエージェントの仕組みを取り入れています。
このマルチエージェントの精度を継続的に改善していくための評価方法として、LLM-as-a-Judgeと呼ばれる「LLMにLLMの出力を評価させる手法」です。
今回のイベントでは、LLM as a judgeがどのように活用され、どのような課題感を感じているのか、そして、今後どのように発展させていきたいのかなどの内容をお話ししました。
本記事では、そのイベントで話された内容をご紹介します。
PharmaX株式会社
登壇者：取締役・エンジニアリング責任者 上野彰大
東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。
登壇資料
モデレーター：PharmaX株式会社 エンジニアリーダー 尾崎皓一
立命館大学院情報理工学研究科卒業。 TIS株式会社でシステムエンジニアとして勤務後、独立しフリーランスのWebエンジニアに。母が調剤薬局を経営していることもあり、PharmaXのミッション・ビジョン・目指す世界観に共感し、2号エンジニア社員としてジョイン。 現在はエンジニアリングリーダーとしてサービス開発に携わっている。
アーカイブ動画（LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~）
アーカイブ動画もございますので、ぜひご覧になってください。
次回イベントのお知らせ
8月7日に『LLM Night〜LLMチャット＆ボイスボットのUX改善戦略』というイベントを開催予定です。 先着順ですので、お早めに参加の申し込みをお願いいたします。
PharmaX株式会社の採用情報
私たちとともにオンラインを中心とした新しい医療体験を一緒に作ってみたいと思った方、もっとPharmaXについて知りたいと思った方はぜひ弊社の採用情報をご覧になってください！カジュアル面談も大歓迎会です！