CTO室_FY10の振り返り_LLMを使ったプロダクトバリュー創出の検証と苦悩
ROXXでは10期(2022/10~2023/09)の振り返りとして各部門長からのnoteを掲載していきます。今回はCTO室の振り返りをさせていただきます。
今回は前回の振り返り記事で上げた内容の振り返りと、新たなミッションであるLLM(Large Language Model)を使ったプロダクトバリュー創出の検証と苦悩について書きます。
前回の記事の進捗
前回(FY09)の記事はこちらです。
こちらの記事では、下記のようなミッションを掲げていました。
まずまだ引き継ぎきれていない下記を早急に引き継ぐことがトッププライオリティのミッションとなります。
・agent bank プラットフォーム → EM
・情報セキュリティー → CISO
ここに関しては、両者ともに優秀な方に入社していただき、引き継ぎを完了することができました。
・agent bank プラットフォーム → 宮竹さん
・情報セキュリティー → 三浦さん
お二人の記事は下記となります
※三浦さんの記事は後日UP予定です。お楽しみに！
その上で、下記のミッションに取り組んだのがFY10でした。
新たにCTO室として 「技術オリエンテッドなプロダクトバリューを作る」に向き合っていきます。
今回はこちらに関して、どういうことをやったのか、どういう結果が得られたのか、どういう苦悩があったのかを書いていきます。
LLMを使ったプロダクトバリュー創出の検証と苦悩
まずFY10ではどういったことを行ったのかを書いていきます。
検証した施策。その展望
ざっとした検証した施策のトピックを下記のようにまとめました。
slackのChatGPTのchatbot
求職者とキャリアアドバイザーの面談内容の文字起こしから職務経歴書の作成
口頭で話すだけで履歴書を作成するツール
職務経歴書などのPDFから構造化データの抽出
エンジニア採用におけるコーディングテスト完全自動応対ツール
他媒体のCSVをDBにインポートする変換ツールの自動生成ツール
求人検索、提案ツール
(その他特許取得中のツール)
人数も少ないながら、様々な施策を検証してきました。
また、広木さんご紹介のChatGPT in Actionにて下記の内容の登壇も行いました。
当初検討していた展望は下記にまとめています。
どういう結果が得られたか
上述の通り、様々な施策を検証してきましたが、総括してみると下記のような結果が得られました。
新しい体験としての期待値づくりはできたが、業務導入へのハードルが高くうまく行かない
LLMの検証には紙芝居ではどういう体験になるのか全く想像がつかないので、実際に動くものとして作り検証を進めておりました。
いずれも、実際に動くものとして作ることで、期待値を作る事ができ、今までにない体験であるがゆえに「これなら世界を変えられそう」という期待値を作ることができました。
一方で、実際の業務プロセスに組み込もうとすると様々なハードルがあり、導入浸透がなかなかうまくできず、結果一部の人しか使わない状態となってしまいました。
なぜそうなってしまったのか
上記のような結果になってしまったのは、通常のプロダクトマネジメント以外にもLLMによるアプリケーションが持つ不確実性によるものが大きいと考えています。
LLMによるプロダクトは大きく分けて二通りの方向性があるかと思っています。
既存のプロセスをちょっと改善するようなアプローチ
ビジネスの根底から変えるようなアプローチ
前者の場合は、既存のプロセスをちょっと改善するだけなので、既存のプロセスに組み込むことができます。メンタルモデルを変える必要がないので、導入浸透もしやすいです。
ただ、そうすると、既存のプロセスをちょっと改善するだけなので、期待値もそれほど高くなりません。
LLMが持つハルシネーションにより精度が安定しないこともあり、期待値の下ぶれ懸念により既存のプロセスを変えてまで導入したいと思えないというのもあります。
一方、ビジネスの根底から変えるようなアプローチの場合は、既存のプロセスを変えることになるので、メンタルモデルを変える必要があります。
検証フェーズではまだそのアイデアは仮説でしかなくビジネスインパクトが本当にあるのかはわからず、ビジネスインパクト含めて検証が必要となります。
そうすると検証フェーズでは既存のプロセスを削減することまで踏み込めないので、単純な作業増加となってしまいます。
日常業務が忙しい中で、うまくいくかわからない検証に時間を割くことは難しいので、結果的に検証が進まないという悪循環に陥ってしまいます。
精度によってどういうUXがベストかは分岐が発生することもあるため、あえてビルドトラップを踏むような動き方が必要になることもあります。
100%に近い精度であれば、人の介在なしで完結するUXを作ることができますが、精度が低い場合は人のチェックを前提にUXを構築する必要が出てきます。
人の介在有無が当該ユーザニーズに大きく影響する場合は、ソリューションの精度がアウトカムに大きく影響するため、アウトカムの検証の前にソリューションを作る必要が出てきます。
上述の通り、LLMによるプロダクトは様々な不確実性がある中で、最初に出すプロダクトの精度が高いとは限りません。
そうすると「こういう体験になったらベストだし、LLMであれば実現可能性はあるが、プロダクションレディーな成果物にはならない」というような状況が生まれます。
今後はどうしていくのか
まず期中で上記状態に陥ったときに、改めて目線感を既存プロセスの小さな改善ではなく、ビジネスの根底から変えるようなアプローチに向けることが重要だと判断し、そちらにフォーカスを当てていきました。
その中で、ROXXにおけるLLMの活用の方向性として、下記のような方向性を考えています。
選考プロセスの効率化
選考フェーズそのものを無くしていくアプローチ(書類選考、面接)
選考フェーズを短縮するアプローチ(書類選考、面接間の時間短縮)
現状は上記方針をベースに、様々なアプローチで製品化に取り組んでおり、一定LLMの制約下においても十分価値をうめそうなものが見えてきました。
上記施策の精度向上並びに販売戦略を構築していきながら、市場への投入を進めていきます。
今回の記事では詳細は記載できないのですが、もし一緒にやってみたいという方がいらっしゃいましたら、ぜひご連絡ください。
面談の中で詳細をお話しできればと思います。