【Zendesk】グーペ の問い合わせフォームの「用件」の見直しを行い用件分類の精度を上げた話。
こんにちわ。
わたしが勤務するGMOペパボ社ではサポートにZendeskを導入しています。
今日は私が担当する「グーペ 」で問い合わせの際の「用件」の見直しを行った件について書きたいと思います。
Zendeskのお問い合わせデータの可視化が始まったことがきっかけ
きっかけは昨年2020年の上期からzendeskの問い合わせデータの可視化が始まったことでした。
本件についてはペパボ社のもりまいがテックブログに書いています。
私はそのデータを利用し、データを可視化できるツールの「Googleのデータポータル 」を利用しグラフやピポットテーブルに落とし込むことを始めました。
お問い合わせ内容の分析ができていないことに気がつく
これまでグーペ では実際にお問い合わせが増えたり減ったりした際に具体的に「何のお問い合わせが増えているか・減っているか」を数値で出すことができていませんでした。
よって、問い合わせ者の「肌感」であったり、月初、月末、自動更新日、年度末、年度始め、といった一般論で増減を表していました。
しかしながら、もう少し踏み込んだ分析がしたいと以前から思っていました。お問い合わせやチャットのテキストの文言からAIが分析するツールもあるようなのですが、そちらを取り入れるという大きい話になる前に、まずはお問い合わせの際にユーザーさんに選択していただく用件からお問い合わせ件数データ化することを行いました。
お問い合わせフォームによくある用件選択です。これは今のグーペ のもの
グーペ では以下の11の用件を設定し用件を選んでいただいていました。自身がグーペ サポート担当になるはるか昔に誰かが設定してくれていたものですが現状のお問い合わせ傾向とは乖離のある用件が設定されていました。
さらに、11の用件の割合がどのようになっているかグラフ化するとなんと約46%がその他を選択していました。
これではお問い合わせ傾向を掴むのが厳しい・・
これをきっかけに、私は
◆ユーザーさんに選んでもらう用件を増やしお問い合わせ内容の分類の精度を高めたい
と考え、zendesk championのペパボ社のたこまつくんに協力をいただきながらプロジェクトを開始しました。
お問い合わせの用件を詳細化しAnserbotと紐づける施策を行うことになり新用件バージョン１を走らせる
お問い合わせの用件ですが、試しにリスト化したところ、約20用件ほどになりました。グーペ ではそれまで縦１列のみのプルダウンだったため、20用件になると縦長になり探しづらい懸念がありました。
しかし、用件を設定しているzendeskのチケットフィールドでは階層にできることがわかり（実は機能としては66階層まで作れるそう）、２階層にすることを採用し、親階層5つ、子階層5つ程度の用件を作ることにしました。
また用件を詳細化するに伴い、ユーザーさんに選んでいただいた用件に対し、Answerbotを対応させる施策を導入することにしました。
2020年8月から導入しているAnswerbotですがお問い合わせにご入力いただいたテキストを元にAIが分析してサジェストしています。
Anserbotのレポートを見て正しくサジェストされていないケースを発見してはラベル追加やFAQの記述そのものの編集を行うといったチューニングをしていましたが、サービスの相性もあり（グーペ はAnserbotとの相性はSUZURIと比べると低い傾向にあり、同様の改善を行っても解決率がどうしてもSUZURIの方が高くなってしまう）Anserbotの解決率が頭打ちになっていました。
しかしながら、選択した用件によってはAnserbotと紐づけることで解決に導ける可能性があり、新しい用件分類がセットされた後に行う施策として予定しておりました。
複雑な集計に思いの他時間がかかってしまう
これまでのスケジュールは以下の通りです
１：2020年11月初旬 グーペ のトップページ側のお問い合わせフォームに新用件分類を設定
２：2021年1月中旬〜 新用件バージョン１のデータ分析からバージョン２を決定
３：2021年2月中旬〜 新用件バージョン２を設定
４：2021年3月〜 グーペ の管理画面内に新用件を設定
です。
まず、１から２が2ヶ月程度空いてしまったのですが、これはデータの計測に想定以上の時間がかかってしまったことが要因です。
そもそもグーペ のお問い合わせフォームは「サービストップ」と「管理画面」２箇所に問い合わせフォームがあり、管理画面はzendesk のAPIを利用していることから最初は「サービストップ」で新しい用件分類を設定し、決定したところで「管理画面」も新用件を反映させる予定としていました。
また、用件分類の用件にはそれぞれタグ付けがされており、さらにお問い合わせフォームの「サービストップ」と「管理画面」の分類もタグで見分けることができるようになっていました。
よって、
・「サービストップからのお問い合わせタグ」×「用件分類タグ」
の２つのタグ軸で分類を行う予定にしていました。
しかしながら、実際に計測を行ってみるとこの方式では計測できないことがわかり、タグではなくチケットフィールドを利用して計測する方法に変更しました。
新用件バージョン1のテスト結果を踏まえ、バージョン２セット
そして2ヶ月のテスト期間を経た結果、完全なその他を約37%まで下げることができ、これまでのその他を選んでいたお問い合わせのうち約9％のお問い合わせを何らかのお問い合わせに振り分けできるようになりました。
しかしながら、もう少し「その他」を減らしたい気持ちでいっぱいです。
次に行ったのは「その他のお問い合わせ内容を全てチェックする」です。
チェックというのはお問い合わせの文章を全て読み、他の分類に該当するか、それとも該当しないか、該当しない場合はどのような内容のお問い合わせかを分析しました。
うち、40%ほどはすでに用意のある用件に該当しました。
つまり、これまで用意していた用件の文言では判断しづらかった、ということが考えられました。
残る60％のうち、多かったのはこれまで用意のなかった「退会」と「企業からのご提案（営業）」です。退会については手順の問い合わせも多いため、１つのカテゴリとして作成しAnserbotと紐づけることで早い解決が期待できると考えました。また「企業からのご提案（営業）」はCSで返信を行わず、ディレクターが返信していたため最終的にこの用件を選んだ場合に担当者をディレクターに切り替え決まったタグを設定しそのタグがついたチケットはCSの計測対象から外すこととしました。
また、グーペ は「ホームページ作成サービス」のため、検索エンジン対策（SEO）についての問い合わせが比較的多いカテゴリに入ります。
そのために用意していた大カテゴリは
・検索エンジン/SEO設定
というものでした。しかし計測期間の2ヶ月の間に「検索エンジン/SEO設定」を選んだのはたったの７件。絶対にそんなはずはないため、グーペ に来た問い合わせを「検索」というワードで検索し、問い合わせ文言を分析したところ、ユーザーさんが問い合わせてくる文言に含まれていたのは以下のワードでした。
「Google/グーグル/Yahoo/検索」
GoogleやYahooは一般に「検索エンジン」ですが、一般に馴染みの薄い言葉である可能性が高く（誰でもググるって言いますしね）変更することにしこれまでも大分類「検索エンジン/SEO設定」を
・Google,Yahoo検索/SEO設定
に変更しました。その他の修正も含め2月中旬にバージョン２をリリースしました。
新用件バージョン２で大幅に改善
以下がバージョン2の計測結果です。
なんと完全な「その他」を28%まで減らすことができました。初期比18%減です。（19.6%の緑のその他はグラフに表示しきれない細かいものがまとおまっています）
また検索エンジンについては大カテゴリ「検索エンジン/SEO設定」が2ヶ月で７件しか選ばれなかったのに対し、「Google,Yahoo検索/SEO設定」へ変更後２週間で１０件選んでいただくことができました。
ユーザーさんに届きやすい表現を考えることの大切さを改めて学びました。
サービストップの用件分類のは一定の成果が出ましたのでここで一旦検討は終了することにしました。
管理画面の用件は新規に専用のものを作成することになる
また、管理画面に新用件を適用する予定であったのですが、仕様上どうしても用件を階層にすることができませんでした。
しかしながら、実際のところサービストップに表示した分類をそのまま管理画面のお問い合わせフォームの用件に表示する必要はないため（例えば新規申し込みの問い合わせや営業の分類は必要ない）用件を整理し、すでにグーペ を利用しているユーザーさん向けの内容にし、チケットフィールドも管理画面用のものを新規に作り管理することとなりました。
あとはAnserbotと繋げるだけなのですが
ここまで来たらあとは期待が高まるAnserbotと繋げる作業なのですが・・・
実は私がグーペ を離れることになり、ここから先は他の担当者が引き継いでもらうことになりました。
サービスが変わるのは新鮮なので楽しみなのですがこの施策は自分としてはとてもお気に入り施策だったので道半ばで離れるのはちと寂しい。。
最後に
この施策の検討を始めたのはなんと2020年9月11日（！）でほぼ初めて使ったGoogleのデータポータル とそれをきっかけにアクセスできる権限が増えたzendeskを相手にあーでもないこーでもないと調べ、タコ末くんにご協力いただき形になりました。打ち合わせを始めた時からこの施策は他のサービスに横展開できるのでやりましょうオッス的に協力していただいていたのですが、サービスの大きさから人員が多く人海戦術の効くカラーミーショップにいつの間にか追い抜かれて若干悔しくもあります。
とはいえペパボの他の商材にも展開できたことは本当に嬉しいです。
そしてユーザーさんにとって便利なサポートの提供に寄与できていたら幸いです！