【ウェビナーレポ】"納得を勝ち取る"クチコミ評価点数の経済学-クチコミサービスにおける、レーティングの透明性と信頼性をつくるために必要なこと-
美容クチコミプラットフォーム「LIPS」では、運営しているAppBrewの行動方針の一つである「USER FIRST（何かを決める時は、ユーザーの合理性を最優先する。）」に基づき、商品選びの一つの軸としてユーザーの意思決定に役立つ、信頼性・公平性の高い商品評価指標の提供を目指しています。
その取り組みの一貫として、2022年10月より、株式会社エコノミクスデザインのレーティング専門家と、新たな評価点数のアルゴリズムで運用を開始しました。
本記事では、LIPSが【6周年】を迎えた、2023年1月27日（金）に実施したウェビナーのレポートをお届けします。
以前より課題となっていた評価の偏りをどうやって解消したか、より信頼性・公平性が高い商品評価指標を目指しどういう改善をしたか、開発に関わった株式会社エコノミクスデザイン取締役/慶應義塾大学経済学部教授坂井豊貴氏と株式会社AppBrew取締役CTO堀江慧を中心に解説しました。
その後、エコノミクスデザイン代表今井誠氏と、AppBrew代表取締役深澤雄太・プロダクトマネージャー安間瑶耕も交え、AppBrewが目指すこれからのクチコミプラットフォーム・商品評価点数のアルゴリズムについて議論を深めていきます。
LIPSの「星の数」、そのロジックを紐解く
堀江：LIPSに表示される「評価点数」は、実は単純に全ユーザーの評価点の平均をとったものではありません。詳細は一般のユーザーも確認可能なWebページに公開していますが、ブランド提供品による評価の偏りの除去、ユーザーごとの評価の偏りの除去、クチコミを書いたユーザーそれぞれの過去に投稿したクチコミ数から評価の信頼度の重み付けなどを実施しています。（注：各施策の詳細はこちらのページよりご覧いただけます）
坂井：今回、我々エコノミクスデザインがお手伝いさせていただいたのは、そのレーティングロジックの見直しの部分でした。
堀江：フェアなロジックづくりを心がけてきたものの、どうしても「新たな商品との出会い＝セレンディピティ」をユーザーに提供したい！というAppBrewとしての思いとのバランスが難しかったです。その中で、エコノミクスデザイン様の学術的知見と監査を入れることで、より信頼性のある公平で透明なレーティングを作っていくことを目指しました。
①これまでAppBrew独自に開発してきたレーティングロジックについて専門家のレビューを受けること、②第三者の監修を受けることによってロジックの信頼性を担保すること、この2点を今回の取り組みの大きな目的にしています。
堀江：以前から、さきほどお話したような点数の調整や計算をプログラムで組んで表現していましたが、エコノミクスデザイン様とAppBrewがまず最初に行ったのは、レーティングの仕組みや考え方を我々が口頭でご説明して、それを数式に起こしていただくというものでした。
坂井：ホワイトボードに式を延々と書いては消し、書いては消し…しながらね。今見ると懐かしいです。我々がいま話している自然言語に比べて、数式は示していることが明快ですから、基となる考えや思いを数式で表現することで議論がしやすくなります。
深澤：もともと、ここまで複雑な数式が必要になるようなロジックでしたっけ？サービス開始当初は、もっとシンプルなものだったと記憶しています。
堀江：今回の取り組みの前段階として、2019年にAppBrew社内でロジックの見直しを行った際にかなり複雑になりましたね。
坂井：最初にお話を伺って、当時のプログラムの状態を建築物で例えると「増築に増築を重ねた」という印象を持ったのですが、実際にLIPSのレーティングはどうやって作られていったのですか。
深澤：当初は自分もコードを書いており、評価点の平均値をベースに多少の補正を行う、という単純なものでした。ただ、「自分の好きなコスメをおすすめしたくてレビューを書く」というLIPSのサービス特性上、星の数が高止まりしやすいという課題は明らかだったため、そのあたりは当初から補正の対象でしたね。
坂井：私の娘がメイクに興味を持ち出す年齢になって、LIPSを使い始めたんですよ！クチコミやランキングを大変参考にしていて、LIPSの情報をもとにコスメを購入しています。サービスとして、LIPSはどのような層の女性をメインターゲットにしているのですか？やはり娘のような若年層でしょうか。
深澤：年齢ではターゲットを区切っていませんが、LIPSの特徴として“ディスカバリー”、つまりは目的買いではなく「なにかいいものないかな」「こんな風になりたいな」というふわっとした要望を持つ方に対して、商品との出会いを創出する機能が強いです。そのため、ユーザーもコスメやメイクに対してまだ知識の浅い方、メイク歴の短い方というのが比較的多くなり、結果として年齢の若い方から支持いただいていると考えています。
坂井：余談ですが、「お父さんは、”あのLIPSの”アルゴリズム設計の仕事をやっている、すごい！」ということで、私（＝父親）の家庭内地位が上がりましたよ！今井さんの娘さんはいま中学1年生とお聞きしてますので、いずれ訪れる“その時”が楽しみですね（笑）
参加者からも積極的に質問が！
当日は、事前に募集していた質問に加えて、ウェビナーのコメント上でも質問を受付けました。本記事では、当日回答のあった中からいくつかの質問を抜粋して掲載いたします。
Q：LIPSでは、不公平なレビュー、意図的な「荒らし行為」などへの対策はどのように行っていますか。
堀江：レーティングシステムの内外から対応する必要があります。まずは、少数の偏った意図的なレビューによって影響を受けづらいロジックを作成するというのがレーティングシステムにできること。それ以外のソフト面では、例えばLIPSですと、「不正行為に対して厳正に対処する」というプラットフォームの姿勢があり、実際に不正があった場合はアカウント停止など、適切な対処を行うような運営を行っています。また、コミュニティマネジメントの立場からユーザーに定期的に周知を行うなどの活動も欠かさないようにしています。
坂井：初めてお話を聞いたときに感じたのですが、とても"真面目”にサービス運営に取り組まれていますよね。ひとつひとつのプログラムのロジックに明確な意味があり、会社として運営方針や信念がしっかりと定まっているように感じました。
深澤：長期的な目線で見たときに、真摯であること、消費者と良い関係を築くことは必要不可欠であると考えています。“拝金主義”ではないですが、売上が短期的／爆発的に上がるとしても、根本がいびつなことをしてしまっては、本当の意味でのサービスの成功、および業界全体の大きな発展にはつながらないと信じています。
Q：エコノミクスデザインとAppBrewの取り組みは2022年10月のローンチとのことでしたが、その後、ロジックの設計に更新をかけたりされましたか。
坂井：はい、更新しています。例えば、バイアスの補正の方法を再度整理しました。設計したレーティングシステムが意図通りにワークしているかは両社で定期的に確認しており、実際にサービスの上でロジックを走らせてみて、うまくワークしていない場合は弊社からも修正を提案しています。
今井：最初から100%の完成度のものが出来上がることはないですし、継続的な改善の取り組みというのは大切で、よりよいサービス作りに繋がるとよいですね。
Q：口コミの少ない商品の評価が上がりやすい傾向にあると思いますが、その対策はどうしていますか。また、評価が適正なる口コミの件数は？
堀江：LIPSではクチコミ件数が少ない商品については偏った評価が出ないように、表示する点数に補整をかけています。その閾値となる件数については、ユーザーアンケートでユーザーがどうあるべきだと思っているかを収集し、そのデータに沿うように機械学習的な手法でレート計算式を決めています。
Q：坂井先生に質問です。アルゴリズムの公開はオープンソース化が議論されている一方、事業者側としては不正のアタックを懸念するのは当然だと思います。規制当局による取り締まり等も含めて、今後「アルゴリズムの公開非公開議論」はどうなっていくとお考えですか。
坂井：私宛に頂戴した質問ですが、これは普段から市場に向き合っているAppBrewのみなさんにお答えいただいたほうがいいかもしれないですね。
深澤：不正なアタック、という意味ですと、LIPSもその対象になることがあり、一定期間中に、不自然に特定の商品への★5のレビューが急増する…といったことが時折発生します。その際には不正感知が働くようにプログラムが組んであります。ご質問にあった件に話を戻しますと、本当に詳細な計算式まで公開してしまうと、今度は「不正検知に引っかからないように行う不正」がやりやすくなってしまうという懸念は拭えません。理想はロジックがすべてオープンソースで、脆弱性が見つかったら世界中の人が協力して修正し…という世界だとは思いますが、その理想と現実の間にはまだ距離があると思っています。
堀江：レーティングのロジック公開とは違うレイヤーの話として、不正をやる人の投資対効果が合わなくなるような、ペナルティがかかるような仕組みを作っておく、という方法もありますよね。
深澤：不正検知の技術というのは進歩していて、人間の行動か、人為的に組まれたプログラムによる行動かというのは、現時点の技術でもかなり正確に検知できます。アルゴリズムはすべて公開するが、不正行為は高いレベルで検知可能で、そういった行為を行ったアカウントには重いペナルティが課される、という状態は実現できるかもしれませんね。
堀江：さらに、アカウントの「信頼性の貯蔵」という観点もありますね。時間や手間をかけて、周囲の信頼を得るために手間をかけて育てたアカウントで不正を行ってBANされてしまうのは費用対効果が悪い。そうなればユーザーが不正行為をするモチベーションも下がります。
坂井：それは面白い。貯めるのは「お金」ではなく「信頼」なんですね。決して、お金を積んだら好きなようにできる、という方向に向かってはいけないですね。他者からの信頼が重要になるというポイントで、いま流行しているWeb3、DAO（分散型自律組織）などの考え方に近く、時代の流れを感じます。
Q：グルメレビューサイトの訴訟を念頭に置きながら、今後レーティングプラットフォームは「点数付け」という行為とどう向き合っていくべきだと思われますか。
堀江：その訴訟については、かなり私のレーティングに対する意識を変えるきっかけとなりました。エコノミクスデザイン様に依頼する前のLIPSのレーティングシステムはほぼ私が作成しているため、LIPSのレーティングが万が一にも訴訟の対象となった場合、自分にのしかかる責任は大きいと改めて感じたのです。そこで、専門家のお力を借りたいと依頼したのが今回のエコノミクスデザイン様との取り組みの発端でもあります。第三者に監修していただくことを始めとして、ロジックの中身が完全に公開されたとしてもやましい部分が一切ない仕組みにしておく、というのは大事なことなのかなと思っています。
深澤：本当に堀江を筆頭に、AppBrewのメンバーは本当に“ちゃんとやって”いますので、それを消費者、ユーザーのみなさんにわかりやすく公開し、理解を得ていく次のフェーズに入っていかなければいけないと思っています。
坂井：グルメレビューサイトの訴訟は、「チェーン店であるという理由で点数を一律に下げられたことは一種の差別である」というのが主な論点です。レーティングを「する側」には、差をつけていい理由とつけてはいけない理由があるということなんですね。点数をつける、という行為は非常に権威性の強い行為であり、しっかりとした人権意識、どういった基準であれば差をつけてよく、どこからがNGなのかという倫理観を持たないと、今後は信頼を得られづらくなっていき、裁判等でも不利になっていくでしょう。今回の判決は、改めてそういったことを考えさせられるものでした。
レーティングは、いまや公共的なものになりつつあります。サービスが大きくなればなるほど、それは同時に権力性を帯びてしまうため、それぞれのサービス提供者が自主規制をする、または業種や業界を越えて、レーティングを行う企業やプラットフォームがそれぞれ牽制し合うような仕組み作りも必要なのかもしれません。
編集協力：野原うさぎ
株式会社エコノミクスデザインについて
エコノミクスデザインは経済学の先端学知をビジネスに実装するプロフェッショナル集団です。世界的に活躍する国内トップクラスの経済学者が、価格設定、市場設計、顧客関係管理（CRM）、ESG対応、スコアの設計をはじめとする、さまざまな企業の課題解決にあたっています。また、運営するオンライン学校「ナイトスクール」では、ビジネスの武器としての経済学を会員にお届けしています。
HP：https://econ.news/
LIPSのアプリダウンロードはこちらから！
App Store
Google Play
この記事が気に入ったらサポートをしてみませんか？