【イベントレポート】LLM Night 〜検証・開発・運用改善の工夫やプロセスについて〜
こんにちは、エンジニアの加藤(@tomo_k09)です。
PharmaXでは、月1ペースでテックイベントを開催しています。
3月は「LLM Night 〜検証・開発・運用改善の工夫やプロセスについて〜」のテーマでイベントを開催し、LLMアプリケーションを開発・運用している各社が取り組んでいる工夫などの実践的な内容をお話しいただきました。
本記事では、以下の内容についてご紹介いたします。
・イベントの登壇者
・各社のLT内容
・アーカイブ動画
LAPRAS株式会社
登壇者：R&D責任者 / プロダクトマネージャー 鈴木亮太様
東京工業大学で物理学を専攻。電機メーカーで機械学習・信号処理の研究に従事したのち、2018年にMLエンジニアとしてLAPRASにジョイン。ICML2019にて主著論文発表。
テクノロジーをユーザー価値に結びつけるべくプロダクトマネージャーに転向し、現在はプロダクトマネージャー兼R&D責任者としてAIを活用したプロダクト開発を統括。
コーポレートサイト
採用ページ
LTタイトル：検証からプロダクトへ - シームレスなLLM開発のためのしくみ作り
LLMの登場により、AIを用いたプロトタイプがすばやく構築可能になりましたが、検証を経てプロダクトに実装する上では、品質管理やリリース後の運用など、様々なハードルを越える必要があります。
そのためには、技術検証からプロダクト実装までをシームレスに繋ぐ、技術面、組織面でのしくみづくりが重要です。
LAPRASがこれまでのAI機能開発で実践してきたしくみづくりについて、インフラ、CI、テスト、チーム間の協業などの観点でお話しします。
株式会社Gaudiy
登壇者：MLエンジニア seya様
2023年6月Gaudiy入社のソフトウェアエンジニア。
基本的にはフロントエンドエンジニアだったはずだが、LLM周りの開発が楽しくて入社以来機械学習に目覚めた。
一歳のかわいい猫(サイベリアン♂️)と暮らしている。
コーポレートサイト
採用ページ
LTタイトル：複数の LLM モデルを扱う上で直面した辛みまとめ
弊社では昨年よりOpenAI社のGPT-4を活用してクローズドテストなどを行ってきましたが、主にコスト面からGPT-3.5, Gemini Pro, OSSモデルなどの活用もし始めています。
複数のモデルを扱い始めて初めて見えた課題、例えばモデル毎に有効なプロンプトテクニックが変わったり、LangChainなどのライブラリがモデルによって機能差があったり、LangSmithというロギングツールのPlaygroundが対応していないモデルがありプロンプトチューニングの場を突如失ったり…。
そんな課題たちと今後の展望について語ります。
PharmaX株式会社
登壇者：取締役・エンジニアリング責任者 上野彰大
東京大学農学生命科学研究科卒業。大阪府堺市生出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にMINX株式会社を共同創業。
2022年8月にPharmaX株式会社へ社名変更。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。
コーポレートサイト
採用ページ
LTタイトル：LLMアプリケーションの改善プロセスの構築
PharmaXは、オンライン完結で医薬品を購入可能な薬局を運営するスタートアップです。
PharmaXでは、薬剤師がチャットする内容をLLMでサジェストするシステムを本番運用しています。そのLLMアプリケーションをリリース後どのように改善していっているのかを評価の基盤、プロセス、体制づくりなど複数の側面から語ります。
今後の展望についてもお話できればと思います。
アーカイブ動画（LLM Night〜検証・開発・運用改善の工夫やプロセスについて〜）
アーカイブ動画もございますので、ぜひご覧になってください。
次回イベントのお知らせ
4月27日に『LLMマルチエージェントによるチャットアプリケーションの構築』というイベントを開催予定です。
先着順ですので、お早めに参加の申し込みをお願いいたします。
PharmaX株式会社の採用情報
私たちとともにオンラインを中心とした新しい医療体験を一緒に作ってみたいと思った方、もっとPharmaXについて知りたいと思った方はぜひ弊社の採用情報をご覧になってください！カジュアル面談も大歓迎会です！