どうして/どのようにRettyはUXリサーチをやり始めたのですか？
こんにちは。平野です。
Rettyという会社でデータ分析チームのマネージャを担当しています。
今年の1月から分析チームが主体となり、UXリサーチを組織に浸透すべく本格的に導入を進めています。
今回はそのUXリサーチをどうして・どのように、やり始めたのかについて書きました。
Tl;DR
本文長いのでこれだけでも読んでいただけたら嬉しいです。
▼どうしてUXリサーチを始めたのか
・プロダクト組織において意思決定の正しさ（=確度）がより求められるようになった。
・定量データの分析は課題の場所は特定しやすいが、その理由の特定はしがたい。
・理由の特定のためにUXリサーチを導入することにした。
▼どのようにUXリサーチを始めたのか
・トップダウンの導入で行動しやすい状態をつくる。
・UXリサーチの指南役をみつける。
・指南役が実務で活躍できる関わり方をきめる。
・一通り実践してナレッジを組織に蓄積する。
・組織的に回るように運用体制をつくる。
▼結果
・UXリサーチが意思決定に貢献してきた。
・分析チームにUXリサーチのスキルがついてきた。
・組織にUXリサーチを行う文化が定着し始めた。
▼今後の課題
・プロダクトの大きな戦略策定やグロースに繋げること。
・開発サイクルにハマるようにすること。
・継続的なUXリサーチのスキル向上。
※ナレッジの一部をメンバーが別途noteを書いてくれます！ぜひ読んでください
分析チームのこれまで
まずはUXリサーチに取り組んだ分析チームのこれまでについて簡単に触れます。ご存知の方はすっ飛ばしてください。
2018年4月に発足してから2年が経ち、現在3年目のチームです。現在の人数は7名で、データアナリスト、データエンジニアが混合する体制です。これまでの活動としては、定量データを用いて組織の「意思決定に貢献」する役割が主でした。
もう少し具体的にすると、ユーザーの行動ログやコンテンツ情報などのサービス内データや、ビジネスの事業情報を扱うデータ分析を主とし、サービスやビジネスグロースの意思決定に貢献していました。
もっと詳しく知りたい方は以下記事をご覧ください。立ち上げからこれまでのことを書いています。
ここから本論に入ります。
まず最初に、どうしてUXリサーチをやるに至ったかについて説明します。
プロダクト組織の変化により、意思決定サポートがより必要に
「データ分析で意思決定を最大化する」と掲げてからもう3年目に突入し、分析チームとして組織の意思決定に最大限貢献するために、様々な取り組みを行いました。
具体的にプロダクトにおいては、プロダクトグロースのためにファネルに分解し課題を可視化することで注力KPIを定めたり、A/Bテストの結果を定量的に可視化して効果の良し悪しを判断したりと、定量データの分析による意思決定への貢献がチームできるようになりました。
このような課題特定から施策の評価までをPdMと協働するのが定着する中で、組織としての変化が生じ、さらなる意思決定の貢献が必要になりました。
LeSSの導入によって、意思決定の「正しさ」が重要に
Rettyでは去年から開発体制に大規模スクラム（Large Scale Scrum、以降LeSSと表記）を導入しています。
・「1プロダクトをみんなで作る！」Rettyでの大規模スクラム(LeSS)導入記
・Rettyの開発組織をぶっ壊して、LeSSを導入した話をPO視点で書きました
LeSS導入によって、意思決定の正しさ（=確度）が重要になり、分析チームは更なる貢献の必要性がでてきました。
意思決定の正しさとは何？という方は以下の記事をご覧ください。この記事に書かれている良い意思決定を「早さ」「正しさ」「納得感」に分けて整理するフレームを活用して説明させていただきます。
追記 2020/6/23)----------------------------------------
後日、「良い意思決定」とは何か？を整理する上でかなり参考になる記事がリリースされていたのでこちらを追記させていただきます。
---------------------------------------------------
意思決定の正しさが求められる理由は、LeSS導入によりプロダクト全体思考で「何を」「なぜ作るか」が大事になり、その「優先度付け」が正しくされる必要が出てきたためです。
各セグメントのリーダーが意思決定を下す体制に比べ、LeSSの場合は意思決定の早さよりも正しいかどうかの方がはるかに重要です。
優先度を間違うことに伴う軌道修正に大きな時間を要すため、分析チームには正しさを可視化することが今まで以上に強く求められます。
そこで、チームとして「正しさを高めるために何をすべきか？」に向き合ってきました。
ユーザーさんを正しく理解して仮説の外にある答えにたどり着く必要がある
結論、意思決定における「正しさ」を向上させるには、ユーザーさんを正しく理解して、自分たちの仮説の外にある答えにたどり着くことです。
理由を説明するために、これまでの意思決定におけるデータ分析の良い点と、問題点において整理しました。
データ分析をする際に、ユーザーの行動をファネルで分けたり、ユーザーをサービス利用ステージ等で分けて、それを定量データで可視化することは、プロダクトグロースにおけるデータ分析を行っている方であれば課題特定のためによく行うアプローチだと思います。
このデータ分析の良い点は課題特定までを、より早く・納得感のある形で進められることです。
しかし、データ分析では集計グループ間の差を見ることで、特定グループの数値の良し悪しを判断しているところまでであり、その理由までは特定していません。つまり課題の場所は特定できますが、理由は特定できません。
そのため理由の特定はPdMやデザイナー・データアナリスト達の経験をベースとして仮説を立てて検証するアプローチが主でした。
例えば、あるファネル間の遷移率が低い場合に、その理由は〇〇が原因ではないか？といった具合に個人が想像したものを実際にそのとおりかどうかをデータ分析によって検証するアプローチのことです。
このアプローチの問題点は、関わる人たちの仮説外に答えがある場合、正解にたどり着けない点です。
その場合は、仮説の外にある答えを探しにいく必要があります。
ここで仮説の外に答えがあるケースってどれだけあるの？そんなにないのでは？という疑問もあると思います。それに関して個人の感覚になりますが戦略策定など大きな意思決定ほど結構あると思っています。
当然ですが仮説外にある答えはユーザーさんが持っています。
そのため、今まで以上にユーザーさんを正しく理解する必要がありました。
もう少し具体的にいうと、ユーザーさんの行動のような表層だけの理解に留めず、なぜそのような行動に至ったのかの理由となる「考え」や「インサイト」にまで踏み込んで理解することです。
考えやインサイトを理解するための手法としてUXリサーチが適切
ユーザーさんの考えやインサイトを得るにはUXリサーチが適切です。
以前からユーザーさんを正しく理解するにはUXリサーチの必要性をなんとなく感じており、今回の理由をきっかけにUXリサーチについて調べ、この手法を取り入れることがあらためて適切だと結論着きました。
その結果、データ分析チームが主体となって、今年の1月からUXリサーチを組織として本格的に導入することになりました。
まとめ
・プロダクト組織において意思決定の正しさ（=確度）がより求められるようになった。
・定量データの分析は課題の場所は特定しやすいが、その理由の特定はしがたい。
・理由の特定は仮説を実験するしかなく、仮説の外に答えが存在する場合もある。
・仮説の外にある答えは、ユーザーさん自身がもっている。
・だからユーザーさんを理解するためにはUXリサーチをしよう。
次に、どのようにUXリサーチをやり始めたのかについてご紹介します。
トップダウンの導入で行動しやすい状態をつくる
1つ目は、プロダクト部門※1のトップ（ProductOwner）にお願いして部門として取り組む流れを作ってもらいました。
※1 Rettyプロダクトをグロースする役割のチーム
UXリサーチのような短期的にわかりやすい成果のでなさそうな新しい挑戦でで、コストも一定かかるようなものは、ある程度トップダウンで始めないと進めにくいからです。
弊社のProductOwnerは以前からUXリサーチには興味・関心があり、必要性も感じてくださっていたので、スムーズに進めることができました。
冒頭でも書きましたが、組織のトップの理解があると非常に進めやすいです。逆に理解がないと厳しいです。
なので、これからやり始めようとしている方は、まずトップから話をしてみることをおすすめします。
UXリサーチの指南役を見つける
2つ目は、外部からUXリサーチの指南役を見つけました。見つけたというよりかは運良く見つかった。が正しいです。
冒頭でも軽く触れましたが、RettyにはUXリサーチを専門で担っている方がいないため、学習効率を考えるとリサーチ設計の壁打ちなどをしてくれる指南者がいたほうがいいと思っていました。
しかし、すぐに見つかるとは思っていなかったので、よさそうな人をTwitter上でフォローしておく程度にしか行動をしていません。そんな時に都合よく以下のようなツイートが流れてきました。
今年はあまり経験したことないtoBや組織開発、UXリサーチャーの育成などを副業で経験してみたい。単発プロジェクトももちろんですが、出来れば長期的に組織やプロダクトに関われるのが理想です🙏何かあればお気軽にDMください〜
— みほぞの🎈 (@mihozono) January 5, 2020
メルペイでUXリサーチャーをしているみほぞのさんが副業先を探していました。僕の観測範囲で数少ないUXリサーチャーが副業先を探している。そして育成を経験したいとおっしゃっている。
これはお願いするしかない。ということで、秒でDMしていました。
快くお会いしてくださり、話を聞いてくれました。
みほぞのさんと初めてお会いしたときの印象は、僕の話を真剣に傾聴してくださり、思っていることを話したくなるような気持ちにさせてくれ、決して否定をしないコミュニケーションで、とても話しやすかったことを覚えています。
その後トントン拍子で事が進み、副業でUXリサーチの指南をしていただけることになりました。
やると決めたときにTwitterでUXリサーチャーとして名乗っている方々をフォローしていたのが功を奏しました。
先にこの取り組みの結果をいうと、単純なPJの成果だけに留まらずメンバーのUXリサーチのスキル向上や組織浸透にまで及ぶものでした。
具体的には以下のような結果に繋がりました。
・インタビューを一人で回すことができるメンバーを複数人生むことが出来た。
・興味をもってくださった人たちがインタビューの視聴者として沢山参加されるようになった。
・毎週のインタビューや新規PJでUXリサーチが活用されるようになった。
ここまでの結果は我々だけでは出せていなかったと思うので、みほぞのさんにはとても感謝をしております。
指南役が実務で活躍できる関わり方をきめる
指南役として関わってくださることが決まって最初に行ったことは、お互いが期待する関わり方のすり合わせです。
関わり方にもよりますが、外部の方とは内部メンバーと比べると密にコミュニケーションが取りづらいため、お互い期待していることのズレが起きやすいです。そのため、ある程度の解像度で期待値をすり合わせすることは大事になります。
具体的には、契約を行う前に以下のような項目をドキュメント化しすり合わせを行いました。
・期待成果
・業務内容
・アウトプットイメージ
・コミュニケーションの仕方
└slack、ハングアウト活用など
・その他条件等
上記に関してはどちらかが一方的に決めるのではなく、一緒に作るのがポイントです。
では、みほぞのさんは具体的にどのような関わり方をしていただいたのか。一言でいうと伴走者としての関わりです。
実際にUXリサーチを行う必要があるPJに入っていただき、PJの成果をUXリサーチの面で伴走する関わり方です。
具体的には、以下のような内容を実際のPJで関わっていただきました。
・リサーチ設計の壁打ち、議論参加
・講座（リサーチ概要、インタビュー）
・設計やインタビュー、分析レポートのレビュー
・分析のワークショップ
・提言（育成方針、開発プロセスへ取り入れる方針）
・ナレッジ共有（運用、リサーチ、分析など）
・フォーマット提供
その他にも、プロダクト組織向けに事例紹介をしていただいたりと柔軟に動いてくださりました。
このように期待値や役割を定めることでスムーズ且つ効果的に協働できました。
一通り実践してナレッジを組織に蓄積する
ナレッジを組織に蓄積する上で、一通り実践することが大事です。上述しましたが、必要性の高いPJでUXリサーチを一通り実践しました。
詳しくはinsightTokyoのイベントで紹介しているのでご覧いただければ幸いです。UXリサーチのやり方と所感について事例を元に紹介しています。
結果としてPJの目的を達成できました。またそれだけではなく、仮説の解像度が上がり仮説の外にある答えも見つけることができました。これはUXリサーチの効果実感として大きなものでした。
組織的に回るように運用体制をつくる
最後に忘れがちなのが運用です。UXリサーチを組織的に回るようにするために、運用体制を作りました。
UXリサーチをするにあたって実際のリサーチ業務以外にやることが多いです。以下は運用のスコープでDesign Research Tokyoというコミュニティで語られたものです。
画像引用元：ResearchOps入門
環境、スコープ、人、組織の文脈、リクルーティング・各種庶務、データと知識管理、内部統制、ツールとインフラ、と8つの大項目で構成されています。その中でもResearchOps（運用チーム）で行う内容は、小項目の上側に寄せているものと言われていました。下側の内容はリサーチを行う現場が行うとのことです。
また運用チームとして最初に進めやすいのは「リクルーティング・各種庶務、データと知識管理、内部統制、ツールとインフラ」とのことでだったので、素直にその領域からはじめました。
具体的には以下のような取り組みです。
■リクルーティング・各種庶務
・インタビュー対象者の選定から依頼
・参加者との応対
・謝礼の取り決め
・実査スケジューリング
■データと知識管理
・インタビュー、アンケートデータの一元管理
・KA法とKJ法などによるナレッジ管理
■内部統制
・個人情報管理
・参加者からの同意
■ツールとインフラ
・インタビュー用に必要な機材準備
また毛色が異なりますが、週一固定の日時でインタビューを行うことで、継続的にリサーチが行われる仕組みも取り入れています。
そして、これら膨大の業務を行うにあたってはCSチームとの連携がとても重要でした。とくにリクルーティング対象が決まってからの応対からスケジューリングなど、ユーザーさんとのコミュニケーションに失礼がない形で進める上ことが大事です。このような業務はRettyだと日頃ユーザーさんとメッセージでのコミュニケーションをしているCSチームで担うのが最適です。
リサーチを主で行うチームだけで運用をするのではなく、組織の強みを活かした体制で運用チームをつくることをおすすめします。
ここまでがどのようにUXリサーチをやり始めたのかについてでした。
まとめ
・トップダウンの導入で行動しやすい状態をつくる。
・UXリサーチの指南役をみつける。
・指南役が実務で活躍できる関わり方をきめる。
・一通り実践してナレッジを組織に蓄積する。
・組織的に回るように運用体制をつくる。
結果
これまで述べてきた結果を簡単にまとめました。
今年1月から、みほぞのさん、プロダクトチーム、CSチーム、分析チームと多くの協働が、このような結果に繋がりました。
・ターゲット選定や施策に繋がる意思決定に貢献してきた。
・仮説の解像度が上がり、仮説の外にある答えも見つけた。
・インタビューを一人で回すことができるメンバーを複数人生むことが出来た。
・興味をもってくださった人たちがインタビューの視聴者として沢山参加されるようになった。
・毎週のインタビューや新規PJでUXリサーチが活用されるようになった。
個人的には、今回の取り組みがが単純に意思決定に貢献するだけではなく、分析チームのUXリサーチスキルの向上や、インタビューを毎週行う文化が出来たこと、現場メンバーで興味のある人が少しずつ増えてきたこと、のほうがUXリサーチの浸透の上で大きな前進だと思っています。
今後の課題
今後は以下3つを課題として取り組んでいきます。
・プロダクトの大きな戦略策定やグロースに繋げること。
・開発サイクルにハマるようにすること。
・継続的なUXリサーチのスキル向上。
1つ目は、「プロダクトの大きな戦略策定やグロースに繋げること」です。UXリサーチを導入してから一定の効果が出てきましたが、プロダクトの大きな戦略策定やグロースに繋がる貢献はできていません。なので今後もUXリサーチを継続的に取り組むことで、これらの貢献に繋げていきたいです。
2つ目は、「開発サイクルにハマるようにすること」です。
1つ目の理由にも繋がりますが、本格的に戦略やグロースに貢献するとなると、開発サイクルにハマる必要がありますが、現状は開発サイクルとしては組み込まれておらず、一部のPJでのみ取り組みがされている状況です。Rettyの開発組織としてハマりやすい形を模索していきたいと思います。
3つ目は「継続的なUXリサーチのスキル向上」です。
今までの取り組みでは、UXリサーチの領域を全て網羅できておらず、ユーザビリティテストなどの検証型リサーチは着手できていません。他にもインタビューだけではなく様々なリサーチ手法はあるので、目的に合わせて学びながら活用して行きたいです。
終わりに
これでまでRettyのUXリサーチは場当たり的で、定量リサーチと比べると意思決定の根拠として役立てづらい状況でした。もちろんユーザーインタビューなどを意思決定に活かす取り組みはありました。しかし必要なタイミングで独自に行われ、体系的に道具としてインストールされた状態ではありませんでした。
また定量データの分析で意思決定を進めていくことが組織カルチャーとして強く、定性データを分析して意思決定に繋げる動きは相対的に低かったです。そこで分析チームが主体となって、今年の1月からUXリサーチを組織として本格的に導入することになりました。
しかし、分析チームはもともと定量データのみをメインで扱うチームで、UXリサーチの経験があるメンバーはいませんでした。そのような状況からの始まりでしたが、今年の1月から4ヶ月を経たいま、ついに効果が出てきました。組織に一定の浸透が見られ、施策に繋がる意思決定にも貢献しました。
ここで言える感想は、定量のみならず定性データもうまく活用すると、良い意思決定に繋がるということです。しかし実行は簡単ではなくコストも掛かるので、進め方・使い方は大事という主張も添えておきます。
例えばタイミング、進め方、活用、手法の学習など、難しいことが沢山あります。よほどの初期フェーズから組織カルチャーで浸透しているか、経営者が重要視していない限り、後から組織に浸透するところまで頑張るのは大変です。
だからこそ、まだまだ少しではありますが効果が出てきたこのタイミングで、なぜやろうと思ったのか？どのように取り組んだのか？のご紹介ができればお役に立てるかと思い、今回noteを書くに至りました。
今回のnoteがこれからUXリサーチの導入を検討しているチームの参考になれば幸いです。
最後まで読んでくださりありがとうございました。
宣伝
こちらのマガジンにRetty社員が書いているnoteがまとまっています。ご興味ある方はぜひチェックしてみてください。