LLM活用の舞台裏：Anews自動要約機能のプロダクトマネジメント
こんにちは、ストックマークのプロダクトマネージャーの中尾です。
この記事は、ストックマーク Advent Calendar 2023の8日目の記事です。
2023年は、プロダクトへの大規模言語モデル（LLM）導入の検証・実装に力を入れた1年になりました。
この記事では、LLMを活用した機能のプロダクトマネジメントに関心がある方に向けて、2023年10月にリリースしたAnewsの検索の自動要約機能の企画と実装をどのように進めたかを紹介します。
ポイントは以下の3つです。
少し先の体験を具体化して、価値探索をする
少し先の体験をイメージしながら、足元の価値を積み上げる
LLMと仲良くなる！
自動要約機能の概要について
Anewsは、自然言語処理技術を活用した情報収集サービスです。
自動要約機能は、検索結果の上位に位置するニュース記事や論文、特許情報を、生成AIが自動で要約する機能です。
ユーザーは要約されたテキストを閲覧することで、自分が求める情報がどの記事や文献に含まれているのかを素早く判断することができます。
自動要約機能の仕組みについて
要約は、以下の手順で生成されます。このうち[2]検索ワードの拡張と[4]検索結果のリランキング、[5]要約生成にLLMを活用しています。
[1] 検索ワードの入力
↓
[2] 検索ワードの拡張
↓
[3] 検索結果の取得
↓
[4] 検索結果のリランキング（検索結果を関連度が高い順に並び替え）
↓
[5] 検索結果の上位の情報から要約生成
自動要約機能の企画と実装をどのように進めたか
ポイント① 少し先の体験を具体化して、価値探索をする
自動要約機能の企画は、ビジョンに基づいて機能のコンセプトを具体化し、顧客への紹介とヒアリングを行うことから始めました。
検索結果の要約を生成する機能は、Bing AI（2023年2月リリース）やPerplexity（2022年12月リリース）などが先行して提供を開始しています。
他のサービスとは異なり、Anewsは新規事業創出や研究開発など業務での情報収集に特化しています。また、情報の推薦・配信がメインであり、検索は補助的に使用されています。
BizDevのメンバーと共に、この特徴や過去のユーザーインタビューで特定した課題を踏まえてコンセプトを作り、デザイナーと協力して動画にまとめて資料化しました。
ポイント② 少し先の体験をイメージしながら、足元の価値を積み上げる
自動要約機能の実装では、コンセプトの実現に必要な要素を分解して、1つ1つ実装するアプローチを取りました。
具体的には、品質の良い要約を生成するためには、検索の性能面の課題や情報ソースの網羅性の課題を解決する必要がありました。まずは、これらの課題を解決するための新機能の追加と既存の機能改善の施策を整理しました。
そして、施策単体でもユーザー価値につながり、コンセプトのピボットがあった場合でも必要になる最小限の機能を優先して実装しました。
コンセプトの検証と軌道修正を進めながら、その完了を待たずに実装を進めたことで、アジリティを高めながら価値を提供できたと思います。
ポイント③ LLMと仲良くなる！
自動要約機能の企画と実装に当たっては、LLMを最大限に活用しました。
ストックマークでは、言語モデルを活用した機能を多くリリースしてきましたが、近年のLLMのAPIの性能の向上とコストの低下により、言語モデルを活用した機能の開発のプロセスは大きく変化してきています。
今までは、教師データを用意するコストが高かったため、まずはシンプルなロジックで体験の検証をして、段階的にBERTなどの深層学習モデルに置き換えて性能を上げることを推奨していました。
現在は、まずはLLMのAPIで体験の検証をして、一定の価値検証ができてから、自然言語処理リサーチャーと協力してファインチューニングしたAPIや、自社モデルに置き換えて性能を上げることに取り組んでいます。
LLMのAPIにより、複数のモデルを用意することなく様々な機能の検証ができるようになり、実装までのスピードが上がっています。
LLMを用いる場合も、「問題設計とベンチマークデータが全て」などの基本的な考え方は変わりません。
ただし、ルールベースやBERTなどのモデルと異なり、LLMは想定外のふるまいをすることが多いです。性格や特性を理解して、もっと仲良くなる必要があると感じています。
ストックマークの自社LLM（Stockmark-13B）に「あなたは周りからどのような性格だと言われますか？」と質問すると、 「周りからは、明るい性格で、誰とでもすぐ仲良くなれると言われます。また、責任感が強く、常に前向きに物事に取り組む姿勢が、信頼を得ています」との回答でした。
仲良くなれる気がします！（ただ、質問するたびに、性格が変わります…）
まとめ
Anewsの検索の自動要約機能の企画と実装を、どのように進めたかを紹介しました。LLMを活用した機能のプロダクトマネジメントの一例として、参考になる点があれば嬉しいです。
この機能はまだ完成ではなく、ビジョンとコンセプトの実現を目指して、今後も開発を続けていきます。LLMは想定外のふるまいをしますが、人間が予測できないからこそ、人間の力だけでは得られない気づきを提供できると思っています。
LLMを使ったサービスに関心がある、もう少し詳しく知りたいなど感じたことがありましたら、是非ご連絡ください！