AI音声認識(β)リリースの裏側!!PdMが実践したユーザビリティ検証のプロセス
こんにちは！！
IVRyで音声認識周りのプロダクトマネージャーをやっている神山です。
私は直近リリースしたAI音声認識(β)の担当をしております。
音声認識のような新しい技術を電話のプロダクトに落とし込むことは、世の中に正解となるような体験が存在しないという意味で難易度が高く、毎日試行錯誤を続けてようやくベータ版をリリースすることができました。
今回のnoteでは実際に取り組んだ音声認識の体験作りや検証プロセスを紹介したいと思います。
そもそもIVRyとは
IVRyとは、主にSMBの事業者向けのIVRサービスです。
IVRとは、電話をかけると「◯◯の場合は、1を。◯◯の場合は、2を。」のように音声ガイダンスが流れ、エンドユーザーがボタンをプッシュして操作していくサービスです。
最近シリーズBで資金調達しまして、これからどんどんマルチにプロダクトを展開していく段階のめちゃ面白フェーズの会社です。
AI音声認識(β)とは
AI音声認識(β)とは、エンドユーザーの電話での発話内容を認識し、システムが自動応答する機能です。
こちらに飲食店を想定したデモがありますので、試してもらえるとイメージが湧きやすいと思います。
デモ番号：050-1807-3730
「予約したい」「個室はありますか？」「今から3人で入れますか？」など、飲食店にかかってくるような電話はある程度認識できるように作っておりますので、是非試してみてください。
開発背景
弊社はIVRのサービスを展開しているので、ボタンプッシュで音声を操作するプロダクトでしたが、以下のような背景で音声認識を使った体験作りを始めました。
①IVRの課題感
従来のボタンプッシュによる電話の操作は、番号をいちいち覚えておかなければならず、エンドユーザーにとって煩わしい体験になってしまっていた
②音声認識の発展性
音声認識で電話が完結できる世界を作ることができれば、IVR(ボタンプッシュによる操作)では実現しなかったサービスの予約や、商品の注文などのユースケースも自動化できるような発展性がある。さらに今後はChatGPTの技術を活用してより柔軟な対話体験を作ることができる可能性がある
実際は音声認識を作ったからボタンプッシュのIVRはやめる！ってことはせず、Aのような問い合わせは音声認識で対応し、Bのような問い合わせはボタンプッシュで対応する、のように組み合わせが可能な未来になると思っています。
AI音声認識の開発は新しい電話体験を作るという点で決して簡単なことではないですが、最先端の技術をすべての企業に届けるための挑戦でした。
ユーザビリティ検証に注力した理由
IVRは体験したことがある方は多くなってきていますが、まだまだ音声認識に触れる機会は限定的です。
Google Homeやアレクサを除いて、電話で問い合わせをするケースで音声認識で応答を受けた方は少ないのではないでしょうか？
そのようなまだ未知の新しい電話体験を作るという状況において、
実際に電話の体験をしてもらいながらフィードバックを収集して高速で体験を改善していく必要性が増し、ベータ版をリリースする前にさまざまな方法で検証を行ってきました。
リリースまでの検証プロセス
前半は体験設計を行う上での論点の洗い出しを行い、後半は体験の設計と改善を行なっていきました。
①前半：論点の洗い出し
初期の頃は、以下の2つの方向性で体験作りの勘所や論点を洗い出していきました。
・プロトタイプを体験してもらう
・音声認識に精通している方から知見を得る
プロトタイプを幅広く体験してもらう
そもそも人が電話というチャネルでどんな質問をどんな発話を行うのか全くわからなかったというのもあり、
最初はライトにプロトタイプを作って体験しまくりながら、音声認識の論点になりそうなところを洗い出していきました。
社内メンバーや、家族、友人に幅広く触ってもらい、発話している様子を録画したりしながら体験として気をつけるべきポイントみたいなところを見定めていった感じです。
初期の発話実験では「お世話になります。◯◯株式会社の◯◯ですー」のように、電話の用件の前に自己紹介から発話されると長すぎて認識できなかったり、
システムが音声案内中にかぶせ気味に発話するユーザがいて認識できなかったりなど、リアルな発話を収集することで体験づくりの勘所が見えてきました。
実際に体験しているところをリアルに観察することや、フィードバックを直接もらってインサイトを得るって当たり前だけどめちゃくちゃ重要だなと改めて感じました。
音声UXの有識者から知見を得る
IVRで多少経験しているものの、音声でシステムを操作するVUIは知見が少なかったのですが、「音声UX」という本を出されている安藤幸央さんにもご協力いただき、体験作りの勘所をインプットさせていただきました。
知識のインプットも大事にしつつ、実体験をやりながら知見をためることができました。
②後半：体験設計と改善
体験設計と改善の段階では、ユーザビリティ検証とフィードバック収集をやりまくってました。利用文脈とタスクを設定して試験者(社内のメンバー10名程度)に電話をかけてもらい、最後に満足度アンケートをとる、という流れで行いました。
満足度アンケート調査・ヒアリング調査
ユーザビリティ検証は体験しているところを観察するだけでなく、テストの最後に体験満足度アンケートを取りました。
総合的な満足度と観点ごとに満足度を取得し、それぞれの数値が音声認識モデルのバージョンごとに改善されているか？をウォッチし、数値が悪かった場合は、何が原因で悪かったのか？を定性的なヒアリングをかけてインサイトを取りにいってました。
この段階ではどの要素を改善すると総合満足度が上がるのか？がある程度わかってきており、今はどの要素が課題なのか？を擦り合わせながらユーザビリティ検証を進めていきました。
ユーザビリティ検証のGOODポイント
上記のような形で検証を進めたのですが、
この取り組みでよかったことがモデルの改善を1スプリント(1週間)で1サイクル回すことができていたことです。
1スプリント内でやったこと
①発話実験(ユーザビリティテスト)
②満足度アンケート結果を元に改善ポイントの抽出
③実装を伴う体験の改善
このスピード感で体験の実現できた理由は、ユーザビリティ検証を社内メンバーで行うことで、リクルーティングに時間をかけずに済んだことや、
プロダクト開発に関わるメンバーが全員参加しているデイリーイベントの後半15分だけもらってユーザビリティ検証を入れ込むことで参加者の日程調整しなくても検証ができるようにできたこと、が挙げられるのかなと思っています。
これらの検証プロセスを通してクライアントに提供できる状態まで体験改善が進み、AI音声認識(β)のリリースができました。
ありがたいことに現在利用申し込みをたくさんいただいておりまして、今後実際のクライアントさんに使っていただきながら、引き続き改善を行なってまいりたいと思っております。
まとめ
上記のように、最初はどんな体験がベストなのか全くわからなかったのでライトにプロトタイプを作って論点を洗い出し、後半からユーザビリティ検証を通してPDCAを回して体験改善をしていきました。
これらの取り組みを通して改めて小さく作って使ってもらい、学びを得る重要性を学びました。
仮説検証を通して徐々に学びが増えて体験が改善されていくプロセスは一歩一歩成功に近づいている感じがしてPdMとしてめちゃくちゃ楽しかったです。
最後に
AI音声認識(β)は、完成したプロダクトではないのでこれからも仮説検証は続きます。
IVRyではマルチにプロダクトを広げていく構想があり、私が体験したよう新しい体験を0から作る経験を得られるチャンスが多い会社だと思います。
プロダクトの仮説検証に興味ある！新しい体験づくりやってみたい方！絶賛仲間を募集中ですので、興味ある方は一度カジュアルにお話しましょう！