未経験分野のプロダクトマネジメントをサバイブする機械学習技術でLIFULL HOME’Sの物件レコメンドモデルを改善する
こんにちは、LIFULLのチバです！
不動産・住宅情報サイト「LIFULL HOME'S」の、ユーザー向けに配信するメール・LINEの主管部門でサービス企画職をしています。
ユーザー向けに配信しているメール・LINEの内容は、よかったら過去のnoteやblogをご覧ください💁
事例の通り、LIFULL HOME'Sを使ってくれているユーザーに向けて送るメール・LINEの配信内容を改善しています。
今回は機械学習モデルの導入で大幅に効果改善できた事例をご紹介します！
1．課題発見のはじまり、立てた仮説とA/Bテストでの検証
仮説「レコメンド物件は、起点とした物件の条件から妥当なものを出してくれているか？」
物件情報に問合せたユーザーに「問合せ完了メール」を送付しています。このメールには、問合せた物件を起点にレコメンドを生成したおすすめ物件を掲載しております。
掲載される物件は、私たちが独自開発したレコメンドアルゴリズムをベースに提案しているおすすめ物件です。
はたして、ここでおすすめした物件は、ユーザーの希望の条件に合っているのか？これを疑い始めたことがプロジェクトの始まりです。
調査「問合せた物件を起点に提案されたレコメンド物件を調べる」
まずは地域差を疑いはじめ、東京都新宿区で問合せた場合と、地方都市で問合せた場合とで比較してみました。
地方都市で問合せた場合は、見出しに「同じ駅周辺の物件」と書かれているのに、問合せた物件の駅とは遠く離れた駅がおすすめされています。
新宿区の場合は、駅と駅の距離が近く、複数路線・複数駅でその距離がカバーできていたのですが、地方都市だとカバーできるほどの数が無いことがわかりました。
以上の調査結果から、「問合せた物件条件を起点にした」現在のレコメンドだと、エリアによっては「ズレなくて良い条件まで可変しているのでは？」と仮説を立てました。
仮説からのアプローチ
これまでのレコメンド結果が間違っていたわけではありませんが、エリアに関わらず「見出し+結果の組み合わせ」を我々の意図するおすすめ物件にコントロールできないかを考え始めました。
そもそも、ユーザーはたくさんの物件情報を見て問合せを1件に絞っているのに、同じような条件の物件を見せられても「もう見たけど選ばなかった物件がおすすめされている」状況が起こっているのかもしれません。
ならば、まだユーザーが試していない切り口で、新しい物件との出逢いを提供する別のレコメンドモデルを採用すべきだと決断に至りました。
「BigQuery ML」を用いた物件レコメンドモデルを採用する
ある日の上司との1on1で「BigQuery MLに挑戦してみない？」と話題にあがったことからプロジェクトが動き始めます。
BigQueryはデータの管理と分析をサポートしてくれるプラットフォームです。LIFULL HOME'Sでは、ユーザーの行動ログデータを連携しており、BigQueryからSQLで必要なデータを抽出してプロダクトアナリティクスに役立てています。
そのBigQueryにはML（Machine Learning）機能が組み込まれており、気軽にSQLで機械学習モデルが作成できます。
この蓄積されたユーザーの行動ログデータを学習元データとすることで、「ユーザーが試していない切り口」で、「新しい物件との出逢いを提供する」ために「ユーザーが将来検索する条件を予測する」モデルへの挑戦をはじめました。
バディチームのエンジニアが書いた同じプロジェクトの記事はコチラ
モデルの設計方針が決まったらリリースして完了！というわけにはいかず、ここからBigQuery MLで挑戦を重ねる、試行錯誤の日々が始まりました。
モデルの設計方針が決まったらリリースして完了！というわけにはいかず、ここからBigQuery MLで挑戦を重ねる、試行錯誤の日々が始まりました。
BigQuery MLがユーザーの課題解決につながるか？
このプロジェクトでは、何度かモデルの設計を変更しています。
モデルの詳細は秘匿🤫ですが、BigQuery MLはモデルとデータの適合性をスコアリングしてくれるので（すばらしい…）この機能を活用してモデルのチューニングをおこないました。
対象とする物件種別も賃貸物件で試したり、売買物件で試したりとLIFULL HOME'Sが取り扱うマーケットの特徴に合わせていくつか試しました。
プロジェクト進行のスケジュール感、A/Bテストの検証プロセス
1回戦目
まずはじめに、賃貸マーケットで物件レコメンドモデルをBigQuery MLに変更してA/Bテストを試しました。
これまでのモデル VS BigQuery MLモデルで5:5の割合で勝負します。
幸いにも、弊社には他にもBigQuery MLを活用したレコメンドシステムの開発に取り組んでいたチームがあったので、実装に悩んだときには相談をして短いスパンでの開発・検証のサイクルを回すことができました。
▼Firebase Analytics経由でBigQueryに「ユーザーが物件をお気に入りに追加した」 というデータを蓄積しているレコメンドシステムの開発をした社内事例
PDFファイルが開きます: https://lp.cloudplatformonline.com/rs/808-GJW-314/images/ML_Summit_D1-Session01.pdf
しかし、初戦「賃貸マーケットで物件レコメンドモデル」の結果は有意差が見られず、一旦マーケットを変えて検証をし直すことにします。
2回戦目
2回戦目は、中古売買の物件レコメンドモデルをBigQuery MLに変更してA/Bテストを試しました。
また、今回は初戦の引き分けの結果から売上毀損のリスクを考慮しながら慎重に進めたいことと、不動産業界の繁忙期に近づく時期も考慮して6:3:3の割合に設定。
既存を維持したままで勝負しました。
割合が減る分、接触ユーザーが少なくて時間がかかる懸念もありましたが、ビジネス的な毀損を重要視して慎重にチャレンジすることにしました。
2回戦目「中古物件マーケットで物件レコメンドモデル」の結果は、有意差あり🙌
ネクストチャレンジでは、
割合を変更する
メールの表現に「なぜこの物件がおすすめされたか」の訴求を入れる
の2点を加えることにしました。
3回戦目「なぜこの物件がおすすめされたか」の訴求を入れる
3回戦目「中古物件マーケットで物件レコメンドモデル - AI訴求文言入り」の結果は、有意差あり🙌
しかも2週間で有意差が出るスピード検証という嬉しい結果でした。
この結果を受けて、「ユーザーはおすすめされた理由を知れたことで、納得して利用できたのでは？」と推測し、文章表現を「どうせ読まれないから…」と思わずに丁寧なライティングを心がけてユーザーとコミュニケーションを取り続けようと再認識できました。
この後、「本実装で1ヶ月間悪さをしていない👉ヨシッ!」の監視を続けていたところ、
中古物件マーケットのプロダクトマネージャーから「昨年と比べてメール経由の成果がめちゃくちゃ良いんだけどなにやったの〜！？」と嬉しい悲鳴のほうが先に届きました🤝🧡
これで、課題を発見してから1年がかりで堅実に進めたプロジェクトが一段落付き、安心して検証を終えることができました。
結論！
BigQuery ML技術を用いた物件レコメンドモデルは「ユーザーが将来検索する条件を予測」したことで「ユーザーが試していない切り口」で「新しい物件との出逢いを提供する」ことができた💪
えらいぞ！💐
2．プロジェクトを通して会得した学び
チームの苦悩を払拭していく工夫
今回、私もバディエンジニアも未経験分野への挑戦だったこともあり、事業の売上やユーザーへ悪影響をきたしたらどうしよう・・・と不安を抱えながら挑戦しました。
その不安を払拭するために、事業売上への影響や、ユーザーの行動分析をしての細かい監視を毎日始業後、退勤前にするようにしていました。
その監視を毎日・毎週・毎月の頻度高い報告をチームにし続けて「安心してね」「必ずいい結果につながるから」を言って回るような行動をしています。
初期開発時にはDailyでの朝会や、必要に応じて夕会も設けて雑談も兼ねてコミュニケーションの面を増やしてプロジェクトに対する不安や要件策定を共にやっています。
プロダクトの成果、今後の展望
長期的にこのレコメンドモデルを使い続けるためには、定期的に新しいデータを用いた予測モデルの更新が必要です。
現在モデルに加えている学習元データが新鮮であり、ユーザーの悩みに本質的であるデータの選定を継続的に実施していきます。
そして、それをWebサービスから独立したメール・LINEという独立したプラットフォームで手軽に試せることを強みとしていきたいです。
さらに、生成AI技術を用いて、メール内に今回掲載したような「なぜ勧めたのか」をユーザー個々の過去の行動や問合せた物件との共通点を元にしてカスタマイズされた説明文言の生成をしてみたいです。
3．さいごに
この記事に書かれる詳細な内容は、2024年12月5日開催（完全オンライン）の「プロダクトマネージャーカンファレンス2024」の公募セッション枠で登壇して話す予定です。
しかし、完全公募なので、もしも採択されなかった場合にはまた別の機会で記事や登壇にして供養したいと思います(笑)
今後も学びのチャンスにはアグレッシブに食いつき、業界を盛り上げていきたいです👊❤️🔥
最後までお読みいただきありがとうございました🙌