日経電子版で記事のA/Bテストをやってみた話

日本経済新聞社で日経電子版というWebサービスのPMをやっている武市(たけいち)です。メルペイ丹野さんに見事におだてられてAdvent Calenderにエントリーしました。せっかくなのでメディアならではの話をご紹介します。

日経は内製化を本格的に進めて早4年ぐらい。開発チームではUI/UXの改善やバックエンドの再設計、爆速PWAの開発、データ分析基盤の構築とデータドリブンの推進など、色々なことにトライして実現させてきました。

UIはQueen、コンテンツはKing

一方で我々デジタル開発部隊がタッチできる範囲は、基本的には外側のUIやシステム基盤部分などに限られていて、サービスの核となる記事などのコンテンツにはなかなか手が出さずにいました。

組織を見ると、記事を作る編集局と、電子版の「側(がわ)」を作るデジタル開発は完全に分離しており、どちらかというと編集局の意を汲んで実現するのが開発の使命でもありました。

日経には140年以上の歴史があり、紙の新聞から生まれたとてつもないボリュームの知見やノウハウが溜まっていますが、時代は流れ、コンテンツをインターネットに最適化する必要性がさらに高まりました。

「UIはQueen、コンテンツはKing」という言葉があるように、サービスをさらにドライブさせていくために、いよいよコンテンツにデジタルの文化や手法を注入しよう！ということで、組織をまたいだ複数のチャレンジが動き出したのです。

記事の見出しとサムネイル画像のA/Bテスト

チャレンジの一つとして、記事の見出しとサムネイル画像のA/Bテストを実施しました。

目的は、クリックされやすい見出し・サムネイル画像についての知見を貯めることです。仮に見出しを変えるだけでクリック率が10%上がったとして、そういった知見が社内に浸透すると単純計算で記事の閲覧本数が全体的に10%底上げされることになります（実際はそんな単純じゃないけど）。

もちろん、釣り見出しをつけたいわけではないです。見出しや画像に惹かれでクリックしたのに中身が伴わなければ逆効果ですよね。しかし、どういう見せ方がクリックされるのかを知っていることが重要で、知った上でどういう見せ方をするか選択できるようになることがメディアパワーの強化につながると思っています。

Facebook広告を使ってテスト

電子版の画面上でA/Bテストをしてもよかったのですが、実施当時はFacebook広告の方が分析含めて手軽にできたのと、電子版の外の方が反応がビビットに出て知見が貯まりやすいと考えました。

日経の記事を読もうと思って、電子版のトップ画面にアクセスしてくる能動的なユーザーは、そもそもモチベーションが高いので、ある程度弱い見出しでもクリックしてくれる可能性があります。

逆に、外部のSNSで色々な情報が流れてくるタイムラインを眺めているユーザーは、弱い見出しには目もくれないでしょうし、見出しの違いによる反応の差が大きく出ると予想しました。

Facebookユーザーのタイムライン上に広告として記事を出稿し、1万〜2万回程度表示させて結果を競いました。またこれは基本的なことですが、何が効果的だったのかを明確にしていくため、見出し同士の差異がなるべく1ヶ所になるようにしました。

以下にいくつか実例を紹介します。

実例1:数字が含まれている方がクリック率が高い

A:お盆休み、Ｕターンラッシュがピークに
B:渋滞40キロも　お盆休み、Ｕターンラッシュがピークに
Bの勝ち。クリック率79%アップ。

実例2:固有名詞が含まれている、かつ先頭にあった方がクリック率が高い

A:世界220工場に通報制度　ユニクロ、労働環境を改善
B:世界220工場に通報制度　労働環境を改善
C:ユニクロ、世界220工場に通報制度　労働環境を改善
Cの勝ち。Aと比較してクリック率57%アップ。Bと比較すると3倍近い差に。

実例3:固有名詞を入れても変わらないケースも

A:敵の敵は味方　キャッシュレスNOW
B:LINEペイ、敵の敵は味方　キャッシュレスNOW
有意差なし。なぜか。実はこの記事のサムネイル画像がこうなっていました。

これなら見出しに書いてなくても、サムネイル画像を見ればLINEの話であることは認知できますね。

実例4:サムネイル画像に企業ロゴが入っていた方がクリック率が高い

右の勝ち。左と比較してクリック率126%アップ。

実例5:企業ロゴを入れても変わらないケースも

有意差なし。企業ロゴがあるからクリック率が高いのではなく、記事の内容を認知しやすいかどうかが大事だと思われます。前述のトヨタの記事の左側の画像は暗く、車かどうかさえ一瞬では認知できません。

ユーザーが「一瞬」で判断できるか

上記実例からもわかるように、「何について書かれた記事なのか」「それは自分が読みたい記事なのか」を一瞬で判断できるかが鍵になります。

要するに、ユーザーの脳内処理の負荷をいかに下げられるかということになります。そのためには以下の3つの前提を頭に入れておく必要があると考えます。

- ユーザーは、一言一句逃さずに読んでくれるわけではない。
- ユーザーは、そんなに時間を使ってくれない。
- ユーザーは、著者ほどその事象に詳しくない。

こういった前提知識が日経全体に広がっていけば、これまで開発だけでは実現できなかった効果が生まれるのではと期待しています。

最後に

こういったA/Bテストは、他メディアでは何年も前から実施されています。見出しや画像を変えたらクリック率が変わるのも、なんとなく当たり前といえば当たり前ですよね。

しかし、世の中一般的に言われている定説が自分たちにもあてはまるのかはきっちり検証すべきだと思いますし、数字感とともに体験することで日々の判断がより早くなります。

また、このA/Bテスト以外にも見出しの自動最適化の準備や、デジタル人材が編集局の朝の現場に立会い、リアルタイムで効果的な記事の出し方を提案する試みも始まっています。

コンテンツだけでなく、組織もまた最適化するためにOKRの導入も進めています。この辺についてもまたnoteで発信していこうと思いますので、駄文で良ければお付き合いくださいませ。