LeCHECKのフィードバックループを改善している話
契約書レビュー支援AI「LeCHECK」を開発するスタートアップの株式会社リセで、エンジニアリングマネージャーとスクラムマスターをしている阿部です。
今回は、スクラムマスターとしてLeCHECKのフィードバックループの改善に取り組んだお話しをしようと思います。
フィードバック整理に着手した背景
リセではスクラムでプロダクト開発を行なっており、プロダクトオーナーが「何を」「どんな順番で」開発していくのか決定しています。
そして、そのような開発優先度を決定する際、リセではお客様の声も重視しながら行っています。
今回このような取り組みを行なった背景として、プロダクトオーナーが関連し合うお客様のフィードバックを探す際の業務効率化をしたいというモチベーションでした。また、定量的な観点でフィードバックを見れる環境を整えることによる、データドリブンな意思決定フロー構築を目指しました。
このようなプロダクトオーナーをサポートするという背景から、エンジニアリングマネージャーとしてではなく、スクラムマスターの「人格」で改善に取り組みました！
ちなみに、この取り組みがスクラムマスターとしての最初の業務となりました。
今までどういう状態だったのか
それまでのリセでは、お客様から頂いたフィードバックをフィールドセールス（FS）やカスタマーサポート/サクセス（CS）がSlackに投稿し、それがNotion上のデータベースに自動蓄積されていくような環境を構築・運用していました。
そして、そのフィードバックデータベースをプロダクトオーナーが確認して、新しいバックログアイテムを作成したり、優先度を変えたり、要件定義などの際に活用していました。
上記の体制で感じていた課題はズバリ、「言語の壁」です。
つまり、どういう事かと言うと、同じ要望を意味していても表現が異なる場合があり、フィードバックに目を通す際、プロダクトオーナーの中で「翻訳」と「グループ化」が必要でした。
参考例をChatGPT先生に作ってもらいました。（適当な例でスミマセン）
Q. 次の文章の意味を変えずに、異なる言い回しで表現してください。「僕は新潟の美味しいお米をお腹いっぱいになるまでたくさん食べられるようになりたい」
A.
「新潟産の美味しいお米をたらふく食べられる状態になりたいと思っています」
「新潟のおいしいお米、お腹が満ちるまで堪能できるようになりたいです」
「僕は新潟の美味しいお米を、飽きることなく食べられるようになりたい」
「新潟のおいしいお米を、たくさん食べても満足することができるようになりたいと思っています」
「新潟の美味しいお米を、心行くまで食べられる能力が欲しい」
「美味しいお米をたくさん食べられるようにしてほしい」という要望ですが、コアとなる部分を抽出してグループ化した場所が無いと、何をするにもデータベースを「総舐め」しなければいけない状況になっていました。
どのように整理したのか
アーキテクチャとして、既存のフィードバックデータベースは、データレイクとしての立ち位置に変更し、「フィードバックのデータマート」を作成して、スクラムマスターによるETL工程を追加しました。
それに伴い、バックログアイテム作成など、プロダクトオーナーが活動する際には基本的にはデータマートを見てもらい、個別具体的な情報を確認したい際のみデータレイクを見てもらうよう社内プロセスも変更しました。
また、FS・CSの方たちにもご協力いただき、開発優先度の因子となるプロパティ（失注に至った原因か否か etc.）をフィードバックの項目として新たに追加させていただきました。
そして、各フィードバックが持つプロパティを用いてスコアリングし、フィードバックを集約した「フィードバックグループ」間を定量的に評価出来るようにしました。
定量的に表現が出来るようになったことで、それに基づいた並び替えも出来るようになり、今現在「HOT」な要望や特定ドメインでよく上がっている要望をザッと見たいというユースケースにも対応できるようになりました。
これからどうしていくか
元々実現したかったプロダクトオーナーの業務効率化とデータドリブンな意思決定については、ある程度のレベルで実現出来たかと思います。
ただ、スクラムマスターがETLを行なっており、当然そこには人力作業が発生するため、スケーラブルなプロセスでは無いという課題が発生しました。
また、自分はリセの創業期よりエンジニアとしてLeCHECKの開発に携わっていたというバックグラウンドから、言わば「生き字引」的な性質を持っており、かなり属人的な作業となっていると感じています。
自然言語処理で何かシステムを組むことも検討しましたが、そこまで行くとプロダクトをひとつ新規開発する規模感の話になってくるため断念し、現状ではこれらの課題に対する解を模索しているところです。
今後は、プロセス全体感としてのスケーラビリティを模索しつつ、こういったフィードバックの置き場を「開発部の持ち物」から「全社の持ち物」にしていきつつ、より一層、共通視点でプロダクトについて議論出来る土壌を整えていきたいと考えています。
また、「良い」プロダクト開発が出来ているか？といった観点で、要望度合いが高いものをスピーディーにデリバリー出来ているかといったことも、フィードバックグループのスコアリングを用いながら計測して、スクラムチーム自身で検査出来るような環境を作りたいと考えています。
📣 知見がある方、是非とも意見交換させてください🙇♂️
今回はここまで！また次の記事でお会いしましょう〜〜🕊️
Twitterもやってます。お気軽にフォローミー💁♂️
一緒に働くメンバーを募集中！
株式会社リセでは、一緒に働くメンバーを募集しています。
カジュアル面談では、30分間お時間をいただき、会社・チーム・プロダクトのご紹介や色々なご質問にお答えします💁♂️
皆さんとお話しできることを楽しみにしています！
株式会社リセで募集している開発ポジションはこちら↓
こちらからもお好きな日程でカジュアル面談を設定できます↓