評価システムについて

今開発しているプロダクトに対して評価システムを載せようとしたけど、そのとき悩んだので整理します。

世の中の評価システム

Youtube, Netflix, Uber, Spotify, note 等、評価システムを利用しているサービスは世の中色々あります。まずこれらを分類してみましょう。

任意1項評価：いいねボタンのみ
例) Spotify, note, twitter, facebook, メルカリ

任意2項評価：good, badボタンの2種類、ユーザーは押さなくてもよい
例) Youtube Music, Youtube, Netflix, Apple Music

強制2項評価：good, badボタンの2種類、ユーザーは押さなければならない
例) Uber, Uber eats

任意数直線評価：ネーミングが思いつかなかったが 、星いくつですかのあれです。
例) App Store, 口コミサイト全般

もれが大量にあるきがしますが、一旦こんなところにしましょう。まずは UGCかそうじゃないかが関係してそうです。UGCの場合はいいねボタンはサービスプロバイダーではなく、コンテンツ生成者にためについてそうですね。twitterとかfacebookはいいねをもらったら嬉しいですし。逆にNetflixとかSpotifyはレコメンデーションに活かしてそうです。Uberはどちらかというと粗悪な配達員を洗い出すために使ってそうですね。口コミサイトは評価自体が価値になっています。

評価の目的の分類

先程の議論を踏まえると、評価の目的は以下の4分類に分類されます。さきほどの評価システムとほぼ一対一対応していることがわかります。 App Storeは全部がちょっとずつありそうなので一旦省きました。

コンテンツ作成者の承認欲求を満たす目的
note, twitter, facebook, Youtube
ユーザーに対して適切なレコメンデーションを行う目的
Youtube, Netflix, Youtube Music, Spotify, Apple Music, 
粗悪な人/コンテンツを選別する目的
Uber, Uber eats
評価そのものをサービスの価値として提供する目的
各種口コミサイト

今回作りたいサービスはマーダーミステリーというジャンルのゲームを行うアプリですが、評価の目的は各ユーザーにどのマーダーミステリーをおすすめしたらいいかという「ユーザーに対して適切なレコメンデーションを行う目的」になりそうです。

適切な評価方法の選定

はじめの評価の分類を確認すると、ユーザーに対して適切なレコメンデーションを行う目的では、任意2項評価を使われることが多いのですがどうなのでしょうか？
個人的にはYoutubeやNetflixでgood, badボタンを押す人は一部に偏っているように思えます。youtubeで2回に1回ぐらいの頻度でgoodボタン押す人もいれば、全く押さない人もいます。そのとき、後者にはレコメンデーションが十分行えないですね。

YoutubeやNetflixの場合はこの問題を(おそらく)動画の離脱タイミングを見て判断することで対処していると思います。早めに離脱した人はおそらくbad評価、最後まで見た人はおそらくgood評価、といった類推ができます。spotifyとかも曲を飛ばしたらbad評価と類推できますね。

ところが、今回のマダミスアプリの場合はマダミスというゲームの性質上、一度イベントが始まると、何があっても最後までプレイしなければなりません。したがって、途中離脱したかどうかで評価を行うことが出来ないです。プレイ後評価以外でレコメンドを行うのが難しいとなると、good, badの選択が任意では困ります。ユーザー全員に選択してほしいです。

ただ一方、強制2項評価にも問題があります。みんなあまり考えずgoodを押してしまいます。例えばuber eatsでいうと、配達員の6割は95%の高評価です。これはこれで困ります。粗悪なコンテンツや人の判別には使えますが、ユーザーのレコメンドには心もとないです。

これら問題を解決するために、マダミスアプリには強制3項評価を導入しようと思います。強制2項評価との違いとして、3項目のデフォは真ん中感を出し、高評価ならgood, 低評価ならbadを選択するようにさせることで、goodデータ, badデータともにユーザーが能動的につけたものになります。任意2項評価との違いとして、めんどくさくて評価をつけないという層に対して、どちらにせよ評価しないといけない感で評価を強制的につけさせるという利点があります。

この戦略はマダミスであるからこそできます。YoutubeとかNetflixとかと違い途中でやめるというのが不可能だからです。例えば、Youtubeで見た動画がつまらなかったからブラウザバックしようとしたときに、ポップアップが出てきて、評価するまでページを離脱できませんとなると、煩わしいと思います。しかしマダミスは数時間かけて必ず最後までプレイするので、最後に1ステップ増えることはほとんどユーザーの利便性を損ねません。

結論として、一般的にユーザーに対して適切なレコメンデーションを行う目的は強制3項評価はほとんど行われませんが、マダミスアプリという特性を考えると、強制3項評価がもっとも良いのではないのでしょうか

宣伝

今回言及したマダミスアプリは↓になります。是非プレイしてみてください！

マーダーミステリーアプリ ウズ