QAボットサービスで一儲けしようとして失敗した

楽して金が欲しい。
しかし楽をするのは楽じゃない。

ある時期、QAボットブームのようなものが巻き起こった。
当然だが、乗るしかない、このビッグウェーブに。

このプロジェクトのゴールは、
うまいこと作って、SaaS化して横展開する。SaaSで大事なのは出来るだけNoOpsでマネーがチャリチャリ入ってくる状態を作ることである。これで俺も不労所得者の仲間入りで、軌道に乗ったら売却してビッグマネーゲットしてリタイアして坂道系アイドルとキャッキャウフフしてフライデーされてスーツ着て謝罪動画アップして...

QAボット作るまでの技術的な話

QAボットと言っても、様々なタイプがある。
レスポンス方法は主に以下の3タイプだろう。

（１）固定文言に部分一致で引っ掛けて返答するやつ。
（２）実は裏で人間が待機していてゴリゴリ返答するやつ。
（３）AIに学習させてどんどん賢くなっていくやつ。

なうでヤングなイケてるかっけーヤツを作りたいので、(1)～(3)のハイブリッド方式にすることにした。

(1)、(2)に関しては想像が付くだろうが、問題は (3) だ。
自然言語を解釈して返答するサービスというのは結構ある。
当時候補に挙がったのはこのあたり。

・Azure Bot Service
・Amazon Lex
・Google Dialogflow
・IBM Watson

さて、どれを採用するかだが、結論から言うとIBM Watsonを採用した。
ポイントにしたのは以下の通り。

①AIのトレーニング方法
②AIの質
③開発生産性
④営業とサポートの質
⑤ランニングコスト

ていうか①が大きく占めている。
QAボットサービスの運用の大きなポイントの一つとして、
AIのトレーニングを誰がどうやって実施するか、であるが、顧客にサービスのwebコンソール（ダッシュボード）からトレーニングしてもらう想定でいた。トレーニング用のインターフェースをこちらがスクラッチで用意したくないしメンテするのもめんどくせーので。トレーニング作業をお金を貰ってこちらで引き取ってもいいのだが、それではビジネススケールしない。

しかしながらご存知の通り、webコンソールといのはfor developerであり、ユーザに操作してもらうにはややハードルが高い。非エンジニアに感触をヒアリングして、良さそうだったのがIBM Watsonだっただけだ。
（補足だが、コンソールの複雑さと機能はトレードオフであり、他が優れていないというわけではない。）
あとは何故か、WatsonはAIトレーニング完了が異常に早かった。
他サービスが数分かかるところを数秒で完了していたのである。

②の評価だが、まずは日本語に対応しているかというのがある。
当時、日本語非対応のサービスを検証する時は、わざわざ日→英→(AI)→英→日のように自動翻訳を挟んで検証していた。
これが予想外にうまく翻訳してくれて手ごたえがあったのだが、「てにをは」の変換がどうしてもブレてしまい、結果的に惜しい返答をするようなことが多かった。IBM Watsonは当時から日本語対応していた。
（2021年1月時点で他がどうなってるかは知らん）
そして肝心の返答の質だが、GoogleとIBMが頭二つくらい抜けていた印象がある。トレーニングさせる例文や単語、その他チューニングなど出来ることはほとんど一緒なのだが、かなり結果に違いが出たのは興味深い。
中長期的にトレーニングしていけばもっと違う結果になったかもしれないが、そんな時間はない。

③に関してはどれも一緒。用意されているapiもほとんど一緒で、認証方法も一緒。ただし、IBM WatsonはSDKが用意されていなかったので、apiが増えてきたりすると苦しいかもと思った。
（いま見たらSDKあるっぽい）

④サポートに関しては全ベンダー同じで、日本法人に期待しないことが大事だ。営業と関係を築いておいて、CCに営業を入れておくと反応が早くなるので多少楽になる。
当時の会社はIBMとの取引が無く、これを機に関係を築くというのも狙いの一つでもあった。

⑤ランニングコストに関しては、Googleが若干高価だったように思うが、
基本的にはトレーニング回数と応答回数でコストが算出されて、月間100万リクエスト以下程度のスモールスタートなら無視して良いだろう。

マネタイズ

それっぽいプロトタイプは1か月程度ですぐ作れた。エンハンスしていけば結構いいものが出来上がりそうだ。チャットのインターフェースもweb以外にLINE、facebook messengerなどのオプションも用意できた。

さて、問題はマネタイズだ。

我々としては、簡単に言うと、イニシャル0円、n回応答 （=n回リクエスト）でn × 数円（m回までは無償）、のような従量課金を目指していた。

手始めに、以前から根回ししておいた既存顧客のwebサイト（月間100万pv程度）にトライアル的に導入した。また、自分で運用している複数サイトにも導入してみた。

結果はというと、、、、

とにかく全く使われない

1日に1000以下である。

ぶっちゃけ予想していたが、ここまで使われないとは。導線がクソだとか、アナウンスが不足しているだとか、そんなチャチなもんじゃあ 断じてねえ。しかも1000件のうち半分以上はフザけてやがる。「うんこ」って送信した奴誰だ。怒らないから手を上げろ。てめぇマジでぶっ殺す。一応人間が裏で待機してたんだぞ。「〇んこ」の後方一致で自動でクソリプ返してもいいんだぞ。

冗談だ、遊んでくれるだけ超マシだ。その他、細かい問題点は浮き彫りになったが、そんな些細なことクソどうでもいいくらい使われない。応答内容を解析して得点（AIによる返答の自信度）と料金を結び付けて～とかオシャンティーなことも考えていたがクソ程どうでもいい。

考えられる原因は、単純にチャットボットという文化がまだまだ未熟でスタンダードになっていないこと、これに尽きるのではないか。そんなのはやる前から分かってはいたのが、ここまで使われないのはちょっと予想外であった。ビッグウェーブがきてたんじゃねーのかよ。これから醸成されていく気配も今は感じられない...。

結局、QAボットは人類にはまだ時期尚早だという結論に至った。まぁそうだよな。俺だって使ったことないもん。そんなめんどくせぇことするならググって、それでも分からなかったら「ンだよこのクソサイトは」ってツイートしてさっさと離脱するわ。（ネガティブツイートをクロールして自動応答するbotを作ったほうがまだ価値がありそうだ）

今回はあまり時間とコストをかけずに失敗することができたが、ボットサービスと心中しようとしている人は一度考え直すことをお勧めする。
（既に軌道に乗っている企業様もいるようだが、ホントにすげぇ努力されているんだと思う）

というわけで、フライデーされて謝罪動画アップするのは当分先のことになりそうだ。

現場からは以上です。