Kaigi on Rails 2024 に mov から kaiba が登壇します! mov Drinkupもやるので是非来てください!
こんにちは、kaibaと申します。
私はmovでLLM連携機能の開発を担当しており、Typo修正やFlakyなテストの修正、CIの改善など、幅広く対応しています。
今回は、LLM APIをRailsに組み込む話をお届けします
皆さん、LLMは使ったことがありますか?
movでは、日常業務だけでなく、GoogleのVertex AIやChatGPTをサービスに統合して活用しています。
しかし、LLMをサービスにそのまま組み込むと、APIの応答が遅くなりがちです。ローディングインジケーター(ぐるぐる)を表示して待たせるのは簡単ですが、これでは良いUXとは言えません。
そこで、ChatGPTのWeb画面のように、文字がタイピングされるように表示されるUIを提供したいと考えました。最初は「RailsならActionCableで簡単に実装できる」と思っていましたが、実際にやってみるといくつかの課題に直面しました。
WebSocketの問題
コネクションを占有するWebSocketをAPIサーバで扱っても大丈夫か?非同期処理の問題
プロンプト生成が重い場合、Jobで非同期処理にする必要がありますが、JobからActionCable経由でフロントエンドに送信できるのか?テキストが正しい順番で表示されないことがある
開発・テスト環境のコスト削減
LLMは使用料金が高いため、開発やテストではコストを抑えたい。
これらのテーマについて、Day 1(10月25日(金))16:50から登壇しますので、興味がある方はぜひお越しください。
ドリンクアップもやります
私を含め社員もたくさんきますので(申し込み一覧にはありませんが)是非遊びに来てください。インド/タイ料理です。カオマンガイとシンハーでともに完成しようではありませんか!タイ料理のコースでシンハーはないそうです😢
この記事が気に入ったらサポートをしてみませんか?