見出し画像

Kaigi on Rails 2024 に mov から kaiba が登壇します! mov Drinkupもやるので是非来てください!

こんにちは、kaibaと申します。
私はmovでLLM連携機能の開発を担当しており、Typo修正やFlakyなテストの修正、CIの改善など、幅広く対応しています。

今回は、LLM APIをRailsに組み込む話をお届けします

アジェンダ

皆さん、LLMは使ったことがありますか?
movでは、日常業務だけでなく、GoogleのVertex AIやChatGPTをサービスに統合して活用しています。

しかし、LLMをサービスにそのまま組み込むと、APIの応答が遅くなりがちです。ローディングインジケーター(ぐるぐる)を表示して待たせるのは簡単ですが、これでは良いUXとは言えません。

そこで、ChatGPTのWeb画面のように、文字がタイピングされるように表示されるUIを提供したいと考えました。最初は「RailsならActionCableで簡単に実装できる」と思っていましたが、実際にやってみるといくつかの課題に直面しました。

  • WebSocketの問題
    コネクションを占有するWebSocketをAPIサーバで扱っても大丈夫か?

  • 非同期処理の問題
    プロンプト生成が重い場合、Jobで非同期処理にする必要がありますが、JobからActionCable経由でフロントエンドに送信できるのか?

  • テキストが正しい順番で表示されないことがある

  • 開発・テスト環境のコスト削減
    LLMは使用料金が高いため、開発やテストではコストを抑えたい。

これらのテーマについて、Day 1(10月25日(金))16:50から登壇しますので、興味がある方はぜひお越しください。

伊藤若冲の「青桐に砂糖鳥図」の鳥アイコンが目印です!

ドリンクアップもやります

私を含め社員もたくさんきますので(申し込み一覧にはありませんが)是非遊びに来てください。
インド/タイ料理です。カオマンガイとシンハーでともに完成しようではありませんか!
タイ料理のコースでシンハーはないそうです😢


この記事が気に入ったらサポートをしてみませんか?