【イベントレポート】AWS主催イベント「ML@Loft 〜LLM運用の現実〜」にて、当社エンジニア安立健人がLLM開発と運用の現実を解説しました
大規模言語モデル等の生成系AI技術を用いたサービスの開発を行うSpiral.AI株式会社（本社：東京都千代田区、以下「SpiralAI」）に所属するエンジニアの安立健人が、2024年8月29日（木）に開催されたアマゾンウェブサービスジャパン主催イベント「ML@Loft 〜LLM運用の現実〜」に登壇いたしました。
開催レポートをお届けします。
【ライトニングトーク】LLM開発・運営の現実を最前線の実践者たちの視点から紹介
ライトニングトークでは、当社エンジニアの安立健人が登壇し、「SageMaker リアルタイム推論とHuggingFace TGIを活用したLLMの省コスト運用およびDynamoDBを使った会話ログの管理」のテーマで、LLMの独自開発と運用サイクルに関する現状を説明しました。
スタートアップのような限られた人的リソースの中でLLM Opsサイクルを回すには、学習データの作成などモデル/サービスに直結する部分に集中し、サービス提供やログ保存の部分については極力省力化することが重要である旨の報告を実施。
省力化を実現するために、Amazon SageMakerとHugging FaceのText Generation Inferenceを組み合わせることで、LLMのサービングに気を回す必要がない環境を構築できることについて紹介しました。
また、Amazon DynamoDB活用の有効性も合わせて紹介しています。
本イベントでは、他にもアマゾン ウェブ サービス ジャパン合同会社の針原 佳貴氏が「生成 AI 基盤モデル・大規模言語モデル (LLM) のクラウド開発・運用における現実」をテーマに登壇されました。
ライトニングトークでは、基盤モデル（FM）・大規模言語モデル（LLM）を開発する上では莫大なコストがかかるため、いかに単価を下げるかが重要な問題になることを指摘。FM/LLM向けアクセラレータ（チップ）を使うことで、コストを抑えられる可能性があることを紹介しました。また、実運用の際に検討が必要となる責任ある AI の観点にも触れ、後半のラウンドテーブルの話題提供としました。
また、株式会社Citadel AIの杉山 阿聖氏が、「LLMを現場で評価する」をテーマに、LLMの評価が精度勝負になってしまっている疑問を踏まえ、LLMの品質評価に対しては、正答率以外の指標が必要になり、多様な評価をするための3つの方法や評価の自動化を提言するなど、LLM運用に関して実践者だからこそ話せる内容を共有しました。
【ラウンドテーブル】LLM運営に関する悩みの共有と解決策を議論
ラウンドテーブルでは、登壇者の3人と、当日駆けつけてくれたAWS Worldwide Tech Leader ML&AIのDenis Batalov氏の合計4名が復数テーブルに分かれて座り、お悩み相談や意見交換が小規模座談会形式で実施されました。
各社それぞれのLLM運営の悩みが相談され、参加者もその知見を自社活用に向けて熱心に聞き入る姿勢が見られました。
今後の展開
当社は今後も、AIを活用したサービスの開発・運用におけるベストプラクティスを啓蒙・共有するため、イベントの実施や社員による登壇を積極的に受け付けていきます。
お問い合わせフォーム、もしくは下記メールアドレスからお問い合わせください。
お問い合わせフォーム：https://go-spiral.ai/contact/
問い合わせメールアドレス：info@go-spiral.ai
参考：登壇者プロフィール
針原 佳貴（アマゾン ウェブ サービス ジャパン 合同会社）
東京大学大学院 情報理工学系研究科 博士課程修了後、機械学習や量子コンピューティングの専門性を活かしてスタートアップ担当ソリューションアーキテクト (SA) として活動。現在は、AWS の様々なグローバルチームとも連携しつつ、最前線で生成 AI 企業の支援を行っている。
杉山 阿聖（株式会社Citadel AI）
Citadel AIにてソフトウェアエンジニアとしてプロダクト開発に従事。Google Cloud の Champion Innovator (AI/ML) に選定されたほか、MLSE (機械学習工学会) で MLOps に関するワーキンググループを主催し、MLOps に関する事例・知識の普及に務める。
「見て試してわかる機械学習アルゴリズムの仕組み 機械学習図鑑」の共著者のひとり。
安立 健人（Spiral.AI株式会社）
Glossom株式会社、株式会社マネーフォワードを経て2023年12月にSpiralAI入社。ML Opsエキスパートとして機械学習のプロダクション運用を支える。
2022年にはラスベガスで開催されたAWS re:Inventにも登壇。また、静岡大学の教育研究支援員としての側面も。
会社概要
社名 Spiral.AI株式会社 / Spiral.AI Inc.
事業内容 大規模言語モデルをはじめとした生成系AI技術を用いたサービスの開発
役員 代表取締役 CEO 佐々木雄一
所在地 〒101-0041東京都千代田区神田須田町2丁目1番地1 MA SQUARE AKIHABARA 6階
設立 2023年3月1日
会社URL https://go-spiral.ai/
採用ページ https://go-spiral.ai/top/recruit/
本件に対するお問い合わせはこちら：https://go-spiral.ai/contact