97人検証を乗り越えてわかった、「おいしさ」を検証するうえで大事なこと
マイベストでキッチン系商材（主に酒）のコンテンツ制作をしている藤澤月菜（@runaruna_mybest）です。
毎年恒例のアドベントカレンダーを今年も書くことになりました！今年のテーマは「マイベスト社員が考える、会社のおもしろいところ」。
ということで、「97人検証を乗り越えてわかった、「おいしさ」を検証するうえで大事なこと」についてお話ししたいと思います。
そもそも、炭酸水の97人検証はなぜ行われたのか？
「おいしいのはコレ」とユーザーに伝えるためには、たくさんのモニターが必要だった
モニターがおいしさについて評価し、その結果を元にコンテンツ制作を行うとき、「◯◯が好きな人は、◯◯な味を選ぶべき」という形でユーザーが商品を選ぶときの基準として活用することができます。
このとき、モニターの評価が曖昧で、傾向が出ないと選ぶ基準が分からず、「この商品が1位だった」という表現になってしまいます。そうすると、ユーザーは自分の好みがあるのに、どんな商品を選べばいいのか判断ができなくなってしまいますよね。
日々モニターを10～20人ほど集めて検証を行っていますが、あるときに「モニター100人でやってみればなにか新しい傾向が出るんじゃない？」と思い立ち、挑戦させてほしいと企画会議に臨みました。…通りました。
これまで以上に費用がかかるうえに、時間も人手も莫大な取り組みでしたが、最高の選択体験を模索するうえでの挑戦で起こった失敗を前向きに捉えてもらえるマイベストの体制だからこそできたのだと思います。
モニター数を増やすだけではなく、事前準備も徹底。検証準備にかけた時間だけでも1週間を超える
モニターの体調・好み・文化的背景など、多くの要因によって「おいしい」の基準や定義がばらつきます。だからこそある程度の数を担保することで評価のブレを少なくし、傾向を出そうと考えました。
人数をただ増やすだけではなく、アクアソムリエ2名で「どの炭酸水が1位になりそうか？」「どんな傾向が出そうか？」というディスカッションを事前に行い、仮説立てをしました。これを行うことで検証後に確認すべき観点が明確になります。
モニターの好みをデータに残すためにアンケートも作成。強炭酸水好きの人がおいしいと評価するものと、微炭酸が好きな人がおいしいと評価するものが異なるか確かめるためです。
さらに、炭酸水を飲む際に「ウィルキンソンだ」「ペリエだ」とわかってしまっては印象や思い込みで評価をしてしまう懸念がありますね。そこで100人分14商品、計1400本の炭酸水にアルミホイルを巻いて銘柄がわからないように準備を行いました。地道で膨大な事前準備を一緒に行い検証を成功に導いてくださった検証アシスタントのみなさんには、本当に頭が上がりません。
重要なのは、どんな属性のモニターを集めるかと検証ディレクションだと分かった。
97人でやってみて、傾向は出たのか？
97人でやってみて、傾向はしっかりと出ました。炭酸水をそのまま飲むなら、強炭酸好き微炭酸好き問わず2.9～3.1ガスボリューム（炭酸強度）くらいのほどよい炭酸がおいしいことがわかり、立てた仮説とも一致する結果に。
97人をまとめて進行・管理を行う経験ができたことも、傾向を出せたことも、マイベストとしてのおいしさ検証を定義するうえで一歩進んだと認識しています。
公開されたコンテンツはこちらです。
炭酸水検証を終えて気づいたこと
炭酸水の検証を終えて評価シートを見ていると、あることに気がつきました。炭酸水を求めている属性にぴったりと一致している、かつ、コメントがしっかりと書かれていて評価に整合性があるモニターであれば数人のデータでも、97人分の傾向とほとんど相違がないことを発見。文化的背景や好みなど含めて、集めるモニターの属性を精査したうえで検証のディレクションを徹底し、綿密で整合性のとれたコメントや評価をとれるようにするのも大切であることがわかりました。
統計学的にはもちろん、モニターは人数がいてこそ信頼度の高い結果となります。そのため、集めるモニターは多いほうがいいので、これからも人数を増やせるようにアップデートしていくべきです。同時に、今回やってみたことで、属性やどんな観点で検証するかを徹底することでより精度があがることに改めて気づきました。
モニターを用いた検証では、ただやみくもに量を集めるだけではなく、質とバランスをとっていくことが、なにより重要であると分かりました。
今やっていること、これからの課題
私が最も愛を注いでいる日本酒のコンテンツでは、甘口好きと辛口好きでモニターを分けて、それぞれの評価をコンテンツに反映。ユーザーが「自分と同属性だ」と思えるように、モニターを精査してコンテンツで表現することで「これは自分にとっておいしいんだろうな」と納得感を持って選んでもらえるよう工夫しています。
さらに、特にこだわっているのが検証ディレクション。なんとなく日本酒が飲めるらしいというモチベで来たモニターに「選択に資するデータベースを構築するために評価をしてください」と言ったところで伝わりません。
そこで、日本で200人しかいない酒匠である自分が、検証を実施する前にモニターに向けてテイスティング講座を開いています。日本酒のフルーティさはどのように発生するのか、日本酒を飲んで味わいを感じ取るためにはどのように飲むとよいのか、味わいを表現するための方法など。そうすることで、モニター自身が好みを知り、誰かが選択するときのデータとなるよいコメントを残すことができるようになっています。
とはいえ、モニターをよりメインターゲットに近づける募集方法やディレクション方法はまだまだ模索中。マイベストにおける「おいしさ」は、を自分がもっともっと精密にしていくぞ！という気持ちで毎日働いています！
最後に
最高の選択体験を実現するために、どんな挑戦もどんな失敗もドンと構えて受け入れ続けてくれるところが、私が思う会社のおもしろいところです。これからも激しく挑戦し続けます！
もしもこの文章を読んで、マイベストに興味を持ってくれた人がいたら以下のページをぜひのぞいてみてください！
採用ページはこちらです！