AIに分業させたらプロダクトが進化した話
はじめに
この記事は、ベーシックアドベントカレンダー2024の6日目の記事です。
こんにちは。株式会社ベーシックでBtoBマーケティングのオールインワンツール「ferret One」のAI機能を担当しています、鈴木蓮と申します。
まさに日進月歩でAI技術が進化する中で、色々なプロダクトにAIを組み込まれることが当然になってきていると感じます。
また皆さんも一度は触れたことがあるであろう、ChatGPT等で利用イメージのアイデアは浮かびやすい一方で、サービスとして提供する場合、やはり個人利用とは異なる大きなハードルが存在します。
この半年間、ユーザーにとって価値のあるAI機能をどのように設計し、実現するか試行錯誤を重ねてきました。今回はそんな試行錯誤のシェアを通じて、今後どんなプロダクトにしていくべきかを共有してみたいと思います。
下記に当てはまる方は、読んでいただけると嬉しいです。
・AIを活用したプロダクト設計や開発に関わっている方（PdM・エンジニア）
・ベーシックにおけるAIの取り組みや、プロダクトの裏側を覗いてみたい方
GPTと2万回話して気づいたこと
ChatGPTの普及が進むにつれて、GPTに正しく指示をするために様々なプロンプト手法が紹介され、タスクごとのプロンプトテンプレートが出回るようになりました。私は当時ゴリゴリと書いて一発で回答を得る類のプロンプトをよく書いていた成功体験もあり、「どんなタスクでもぎっしり網羅的に書いたプロンプトを投げれば、良質な回答が得られるのでは？」と大きな期待感を持っていました。（そう単純にはいきませんでしたが…。）
まず担当したのは、ferret Oneのデータをもとに、その要約結果を出力し、さらに改善策まで提案するタスクの実装でした。最終的には8000文字ほどのプロンプトが出来上がりましたが、その中に一文追加するだけで、出力内容が大きく変わったり、必要な処理プロセスが飛ばされてしまうことが多々ありました。
「これが原因かもしれない」と修正を重ねて送信を繰り返しても、期待通りの結果にたどり着かない場面も多く、気づけば2万回以上GPTと話していました。（話しすぎ？）
この経験を通じて、AIのスタンスを見直し、得意/不得意を正しく見極める必要があるのでは？という問いを立てるようになりました。その問いに向き合った結果、AIが効率よく動ける環境を作るための設計から見直すことを決めました。この決断は、後述するシステム設計やプロダクトの価値創出に良い影響を与えていると感じています。
AIの働く環境を整える
当初このAI機能ではGPT-4oを使用していましたが、運用コストの観点から、コスト効率に優れた軽量なGPT-4o-miniを検討しました。ただ4o-miniはコスト面では優れる一方、精度の面ではGPT-4oに及ばない部分もあり、そのまま移行することはできませんでした。
そこで4o-miniでもGPT-4oと同等のタスク処理ができるよう、システムとしてどのような設計で、どう指示を出すべきか検証を重ねました。結果としては、タスク当たりの仕事量・プロンプト・データを適切な形式と大きさに分解してフローを組むことで克服することができました。
具体的には、システム側で事前に整理したデータを出力し、その内容をもとにプロンプトを調整してから、AIに渡す仕組みを構築しました。またデータの構造情報やルールをあらかじめ伝えることで、解釈ミスやエラーを防ぎ、タスクごとに求められる精度を向上しました。これにより4o-miniでも一定の回答ができるようになり、コストカットと精度の両立を実現しました。
AIに分業してもらう
私が担当しているAI機能があるferret Oneというプロダクトは、
「見た目はシンプルだが構造が緻密で、ferret Oneを利用する方はそれを意識せずとも使える」という世界を目指しています。
私はこの世界にAIの力で近づく１つの仮説として、「AIに対してユーザーが最低限の入力を行うだけで、期待以上の高品質なアウトプットが得られる仕組みを作る」ことを挙げています。
ここで鍵となるのが、AIの得意な処理に特化させるシステム設計と、複数のAIが協力してアウトプットを生成する処理フローです。例えると、サッカーのフォーメーションのようなものかもしれません。システム内に配置された複数のAIが、それぞれ特化した役割を持ちながらパスを回し、最終的にゴールを目指すイメージです。一人のプレイヤーが全ての役割をこなすのではなく、各AIが得意なタスクを担当し、それを連携させることでクオリティを上げることができます。
この考え方は12月に提供開始したAI戦略設計でも活用されており、少ない入力でペルソナ設計からカスタマージャーニー、マーケティングプランまで生成することができます。
従来はユーザー自身がプロンプトを細かく修正し、何度も試行錯誤を繰り返して徐々に精度を高める必要がありましたが、この仕組みによって、そうした負担を大幅に軽減できると考えています。
また一方で、このままでは汎用的な情報提供ツールにすぎません。そこでプロダクトとしての特徴や独自性を取り入れることは、群雄割拠の時代において選ばれるためのポイントになると考えています。
現在ferret One内で提供している”AIBOW”では、これまでに積み上げてきたBtoBマーケティングのノウハウをもとに会話することで、簡単にノウハウを学ぶことができます（読み込んでいる資料は800ページ越え...！）
これからAIを含むプロダクトの価値は、少ない工数でいかに高いアウトプットを出せるか、そしてそのアウトプットにどれだけ独自性を持たせられるかにあると感じています。これからもその両方を追求し続けることで、さらに多くのユーザーに価値を提供していきたいと思います！
まとめ
「ユーザーの負担を減らしながら、高品質で独自性のあるアウトプットを提供する」という試みは、AIBOWがさらに進化するために欠かせないテーマだと感じています。
これからも試行錯誤を続けながら、さらに良いプロダクトを届けられるよう頑張っていきます！
次回の投稿は・・・
formrunの副事業部長である関根さんが更新します！
何やら美味しそうなお話が聞けそう🍽️ 次回の投稿もお楽しみに！