LLMを活用したプロジェクトのプロダクトマネジメント
mentoでPMをしている荒井です。
mentoは、月3万円からプロのビジネスコーチがつけられるオンラインサービスです。現在は法人向けの「mento for Business」に注力してます。
会社としても個人としても初めてとなる、LLM(大規模言語モデル)を活用した「AIサマリー」プロジェクトのプロダクトマネジメントについて書きます。
AIサマリーとは、コーチングを録画するだけで自動で内容が要約され、コーチング対象者およびコーチが受け取れるサービスです。
公式のプレスリリースです↓↓
企画背景:管理職は忙しすぎる。必要なのは押し付けない支援
コーチングにおいては、経験学習サイクルを引き合いに、業務での実践と振り返り(内省)が重要と言われます。
mentoがサービスを提供するのは、1日の予定がぎっちり詰まっている忙しい管理職です。60分のコーチングセッションの時間を確保することも難しいような管理職が、セッションに向けた事前準備やセッション後の振り返りに十分に時間を割くことはもっと難しいです。
とはいえ、社内の会議や1on1でも同じですが、話した内容は議事録やメモに残さないとどんどん忘れます。業務や社内ミーティングが連続してるならなおさらです。
このネガティブなサイクルを、管理職に負担を押し付けない支援でポジティブに変えたい。
AIサマリーがあることで、こんな成果をサポートしたい。
AIプロジェクトで大事なこと
プロダクト開発において、機能要件・非機能要件という受け入れ基準があると思いますが、今回のプロジェクトで特に大事にした2つの非機能要件があります。
🛡️1.プライバシー保護 / セキュリティ
コーチングで取り扱われるテーマはさまざまです。会社の戦略につながる話、社内メンバーとの関係性の話、個人のプライベートな話など。
本来はクローズドな空間での1対1の対話であるコーチングに、"録画される""要約を受け取る"という新しい体験が追加されることになります。
コーチング対象者もコーチも、プライバシーやセキュリティは一番気になるポイントだと思います。
そこで、行った対応がいくつかあります。
🎯2.精度
ここ1年で生成AIを使ったプロダクトが多く登場しましたが、クオリティの期待値がすりあっていないことで、同じプロダクトでも「すごいじゃん」と思う人もいれば「全然ダメじゃん」と思う人もいます。
プロダクトに求める"当たり前の基準"が上がっていると考えられ、リリースしたその瞬間から一定水準の精度・全体での品質が求められるといえます。
こちらも行った対応がいくつかあります。
AIプロジェクトならではの苦労
何に苦労したか振り返ってみると、最もコントロールしづらい不確実性=精度につきます。
AIサマリープロジェクトでは、精度の検証(社内テスト)を2段階に分けて実施しました。
オフラインテストで問題なしと判断できたバージョンと要約フォーマットをそのまま採用して開発を進め、リリース前テストを実施したところ、評価尺度のうち「絶対にリリースしちゃだめ」というフィードバックをする人がちらほら。
想定しきれていなかったのですが、オフラインテスト用の擬似セッションと実際のセッションでは、話す内容や話す比率、セッションの環境などにも違いがありそうでした。実際のセッションでは、関係性の築けているコーチとハイコンテクストな対話をします。書き起こしデータを人が見ても「?」なのに、AIならなおさら。
数回バージョン変更を重ねるものの、一向にメンバーからの評価がリリース基準を超えなかったため、リリース延期を判断。
要約フォーマットの見直しをするために、LLMを使った類似プロダクトのリサーチのやり直しもしました。
元々の想定では、できるだけ簡潔に要点を押さえたAIサマリーを考えていましたが、初手としては"ハルシネーション(言ってないことをAIが勝手に言ってしまう)が起こらないこと"の重要度を上げ、要約の分量が増えることは許容するという判断に切り替えました
録画した音声の書き起こしの精度、要約しやすいフォーマット、ハルシネーションが起きにくい文量など、一定要約の精度はコントロールできるものの、完全にはコントロールできないという難しさがAIプロジェクトでは当たり前に起こるのだと学びがありました。
プロジェクトの進め方
最後にプロジェクトの進め方で工夫した点についてかんたんにご紹介します。
mentoのプロダクトのこれから
過去のユーザーインタビューのログを見返していたときに、「mentoを意識したことはありません」というコメントがあったことを強く覚えています。
コーチング対象者は"コーチとコーチングセッションをしている"のであって、"mentoというプロダクトを使っている"感覚はあまりない。
セールスやサクセス、約200名のプロフェッショナルなコーチのおかげで、mentoを導入・継続いただけるケースが増えているのは良いことではありますが、プロダクトチームのいちメンバーとしては、素直に喜べないのが本音だったりします。
今までは、"良質なコーチングへのアクセシビリティ"を高めるような、黒子なプロダクト開発への投資が多かったと言えます。
デジタルプロダクトで"コーチングの体験自体をアップデート"することで、mentoのミッションである「コーチングとテクノロジーの力によって日本の主観的ウェルビーイングを世界No.1に」に近づけるのだと思います。
AIサマリーはそのための1歩目です。
テクノロジーやっていくぞ!なCTOのブログも貼り付けておきます
We are Hiring !
プロダクトチームは、エンジニア・PM・プロダクトデザイナーの採用に奮闘中です。
採用情報やカンパニーデックを見て、少しでも「楽しそう」って思ってもらえたら、気軽にカジュアル面談しましょう。
🍎採用情報
🍊カジュアル面談日程調整
🥝わたしについて
おまけ
プロジェクトの途中でこんなツイートをしてました。
これのことです。やりすぎず、ちょうどいい🫶
この記事が気に入ったらサポートをしてみませんか?