【開催レポ】LLM in Production Meetup #1 LLMOps -LLMの評価・品質担保-
先日 LLM in Production、第二弾!まとめていきます。
6月に初回となるLLM in Production Meetup #0 Kick Offが開催され、2か月を経ての開催となります。
"LLM in Production." と題して、LLMのプロダクション導入・サービス実装を中心に扱うコミュニティです。LLMのアプリ実装に関わる方の技術情報交換の場になればと思っております。
今回は、ベストプラクティスがなかなか見当たらない "LLMの評価・品質担保"がテーマでした。正解がない中、各社がどのように試行錯誤しながら LLMを評価し実ビジネスへの組み込みをチャレンジしているか、多くのインサイトが共有されました。
今回の記事はその開催レポを兼ねてのプレゼンテーション資料まとめです。LLM Meetup Tokyo の開催レポが良かったのでマネしています(LLM Meetup Tokyo #2 開催レポ&LTまとめ|mah_lab / 西見 公宏 (note.com))
イベントの connpass リンクはこちら
掲載ポリシー
LLMProdのハッシュタグで共有されたものだけ掲載します
LT以外にも濃厚なパネルディスカッションがあったのですが、こちらはオンサイト参加者限定としてとっておきます。
メインプレゼンテーション
Azure Machine Learning Prompt flow 評価メトリクス解説(マイクロソフト 花ケ崎さん)
LLMプロダクトのロバスト性と運用(Algomatic 南里さん)
LLMOps-LLMの評価品質担保(wevnal 榎本さん)
PdMからみた品質管理の行いやすいLLMの開発テーマ選定(ナウキャスト 片山さん)
当日の様子
今回は人形町の MNTSQさんのオフィスをお借りし、開催致しました!
パネルはこんな感じ。いいテーマですよね。
懇親会も盛り上がりました!結構熱い話もありました、、!
Twitterでの反応
参加できなかった方は、#LLMProd をチェック!
纏めて頂きました!
AIモデル評価の結果ではなく、事業KPIの達成度合いでLLMを評価してしまおう、という考え方も。おもしろい。
「LLM評価ってモデル選定も含まれると思うけどそれはどうしてるんですか?」という話。
金曜日の夜にAIを語りに集まってくれる方々、、!
所感
運営メンバーのLayerX 松本さんのコメント。今回は不確実性の多いテーマ設定だったので、泥臭い話を沢山聞けた印象でした。
ではまた!
この記事が気に入ったらサポートをしてみませんか?