アイコンのABテストはちゃんとやった方がいいという話
※2016年9月にMediumで書いた同記事の転載です。
こんにちは、マスカチ代表の池田です。
嫌いな花粉はスギ花粉です。
2月末にリリースしたUltimate Kept Man Life(http://himo2.masukachi.com)ですが、おかげさまでとても好調です。
Ultimate Kept Man Lifeについて
去年日本でリリースしたゲーム「超ヒモ理論」の4言語対応版。ヒモが彼女の父親（怖い）に追い出されそうになるので、養うメリットをアピールしてヒモ生活を維持しつつ、お小遣いをたくさんもらうゲーム。3月末時点、日本語版と合算でとりあえず50万DL超えました（日本30万、海外20万）。
※2019年1月追記：現時点で170万DL超
今回はこれのアイコンのABテストをしたらこんな結果が出た！という話です。
アプリのアイコンなんですが、割とざくっと感覚で決めてる人が多いと感じてます。サービスのロゴを載せてみたり、アプリで出来る事がひと目でわかるようにしてみたり、ゲームなら金枠つけてみたりと内容は色々あると思いますが、ちゃんと検証してるって話はほとんど聞きません。
言うまでもないですが、アイコンはユーザーにとって一番最初に目に入る＝興味を持つかどうか判断する一番初めの要素なので、もうメチャクチャ非常に重要です。重要なので気合入れて作る方が多いと思いますが、大事なのはアプリが提供するメリット/楽しさであって、アイコンに情熱向ける意味は無いので、ロゴの大きさとか調整してるヒマがあればさっくり数字見るべきです。広告の効果測定はするのにアイコン等の効果測定をしないのはメチャクチャもったいないです。その為、基本的にどんなアプリでもアイコンのABテストはやって然るべきかなと。
具体的にどうやるのかという話ですが、去年からGoogle Play Developer Console上でABテスト出来るようになったので、それを使いましょう。iPhoneアプリのみ開発してる方はAndroidアプリ作りましょう。
これどういう仕組みかというと、あらかじめアイコン（説明文やスクリーンショット等も検証可能）を複数登録すると、Google Play上で表示されるアイコンがユーザーごとに自動で切り替わる為アイコン毎のパフォーマンスの比較が出来て、しかもその結果判定までGoogle側がやってくれる、というものです。めっちゃ簡単な上にめっちゃ無料です。ただし、そこそこDLのボリューム無いと結果出るのがかなり遅くなるので、その点は注意です。ヒモ多言語版だと3,000～6,000DLくらいで一回のテスト結果が出る位だったので、その位は無いと短いサイクルで検証回しづらそうです。
さて、この機能を使ってUltimate Kept Man LifeでもアイコンのABテストをしてみました。今回テストしたのは、以下の絵柄4*色4の16パターンです。
基準にしたのは日本版と同じA1の「彼女大+フキダシ+ピンク」でした。このアイコンは以下の仮説から設定してます。
・彼女（かわいい）が笑顔で札束を持っている、「ヒモ」というテーマを表現すべき
・iPhone5等の画面が小さい端末では札束が潰れて見えなさそうだったので、フキダシを追加してお金である事をわかりやすくすべき
・白背景のストア上で目立つように、ハデな色にすべき
この仮説は理屈の上では間違っていないですしもっともらしいですが、実際には以下のような結果になりました。※ちなみにここでいうパフォーマンスは、基準のアイコンに比べてこのくらいインストール数/表示回数に差があったよ！っていう指標です。
アイコン一つ変えるだけで（しかも色と中身ちょっと変えただけで）ここまで差が出ました、一番上と下の平均値を比べると42%も差があります。当初の仮説は全く見当違いでした、もう見たまま結果がすべてです。
ちなみに、テスト期間中に台湾でグワーッと伸びた影響で数値にブレがある可能性があった為、上位3つのアイコンでイヤーッと再検証してみました。
結果はこの通り、一回目のテストと順位は変わらずでした。
2回ともB3(彼女大+フキダシ無し+オレンジ)が最高という結果だったので、迷わずこのアイコンに変更しました。もちろんその後はテスト通りDL伸び続けています。こんなに差が出る可能性があるのに、やらない理由はないですね。
なお、「なぜこういう結果になったのか」を考えるのはあんまりオススメしません。考えたところで答えの確認は出来ませんし、他のアプリにそのまま応用出来るわけでも無いので。何だか知らんがとにかくよし！です。
まとめると、
・ABテストやろう
・Google Play Developer Consoleで無料でABテスト出来る
・上下40%の差が出る程のインパクトがあるのでとても大事
です。せっかく作ったアプリが使われずに終わるのはメチャクチャもったいないので、絶対やりましょう！
ちなみに弊社ことマスカチは絶賛メンバー募集中です！めっちゃペダル踏み始めたタイミングです、一緒にいいもの作りましょう！
ご興味ある方は info [at] masukachi.com までご連絡ください！
※2019年1月現在、マスカチはデジタルカタパルト株式会社に買収され子会社になっていますので、お話できると嬉しいですが一緒に働く云々になるかというと少し時間がかかるかもしれません。