GroqでChatGPTのレイテンシ問題を解決する
はじめに
TimeTreeの予定スキャン機能は、画像からテキストデータを抽出し、自然言語処理モデル(LLM)を介して予定のタイトル、日時、メモ、リンクなどを取得することで、予定の入力を簡単にする機能です。
この機能は、プリントや掲示板の貼り紙などから素早く予定を入力したい場合に便利で、特に家族で利用されているTimeTreeでは、新学期が始まる時期に子供がもらってきたプリントから予定を入力する際に活用されています。
ChatGPT APIにおける課題
予定スキャン機能は便利ではありますが、ChatGPTからの応答速度の遅さがユーザー体験を損なっていました。具体的には画像の読み込みから予定が抽出されるまでに5秒程度待たされることがありました。
(たった5秒かと思うかもしれませんが5秒って意外に長いんですよ！コンビニのレジで5秒立ち止まる姿を想像してください、長いですよね！？)
C向けプロダクトでは、5秒の待ち時間はかなりクリティカルです。機能の初回利用時に5秒以上待たされたあげく間違った予定が抽出された場合、ユーザーは強い失望感を抱き、二度と使ってくれません。それほど残酷なものです。
そのためユーザーに価値ある機能を提供しても、待ち時間があるだけでリピート利用を阻害してしまう恐れがあるのです。
レスポンスが遅い問題をどう解決するか
待ち時間を解決するための選択肢としては、以下の2つがあります。
レイテンシが小さいLLMを使用する
待ち時間を感じにくくする体験を作り出す
体験的なところはある程度改善してきましたが限界があり、根本原因であるレイテンシを小さくできるLLMを探すことにしました。最近は様々な企業がLLMを提供し始めていますが、高速で動作すると好評を得ているGroqに注目しました。
Groqは、従来の半導体プロセッサとは異なる新しいタイプのチップを開発している革新的なスタートアップ企業です。Groq APIを提供しており、Groqが開発するAIチップと他社のLLMを組み合わせることで、非常に高速なAIシステムを提供しています。
Groqは爆速だった
Groqをテスト環境で試しに使ってみて速度を検証しました。こちらが検証結果です。
テスト環境でGroqを使ってみた結果はご覧の通り、抽出する予定の数に関わらずGroqがかなり速いことがわかりました。これだけ差がでると気持ちいいものですね
最大でレイテンシが1/10程度にまで短縮でき、とりわけMistralが提供するMixtrialのLLMが最も速く、正しい日時情報を抽出できるかという精度の面でも高く出ていました。
この結果を見てChatGPTからGroqへの変更へと舵を切ることになります。
そして実際に予定スキャン機能にGroqを導入してみた挙動はこのような感じです。かなり高速化しており、読み込み中というダイアログの表示時間がほとんどありません。
最新のTimeTreeでもGroqを搭載したiOSバージョン(ver12.3.9)をリリースしましたので、もしお手元にお持ちの方はアップデートして触ってみてください。
LLMとどう向き合っていくか
AI機能を搭載しているプロダクトが増えている中、LLMの進化も止まるところを知りません。AIによって技術面で実現できなかったことができるようになってきています。
私たちはプロダクトの課題や実現したいことを常に念頭におきながら、新しいAIが出てきた際には目的実現のためのパズルのピースとなるのか常にAIをオプションとして検討する姿勢が重要です。そのためには情報のインプットを行い、破壊と創造の精神でどんどん試していくことが必要になるのかなと思います。
この記事が気に入ったらサポートをしてみませんか？