LLMの開発と展開をつなぐ：FriendliAIとWeights & Biasesのインテグレーション by FriendliAI, Gon Chun氏 【Fully Connected Tokyo 2024】
2024年10月10日に東京・三越劇場で開催された「Full Connected Tokyo 2024」にて、FriendliAI社のCEO兼共同創業者であるチョン・ビョンゴン氏より、AIモデルの効率的な運用とWandBとの統合についてのご講演頂きましたので、その内容をご紹介したいと思います。
FriendliAIのミッションと課題解決アプローチ
ソウル大学コンピューター工学部の教授としてディープラーニングや生成AIの研究に携わってきたチョン氏は、「この新しい時代において企業がAIモデルとAIエージェントの潜在能力を十分に活用できるよう支援すること」と自社のミッションを定義しています。
チョン氏がこのようにミッションを定義しているのは、生成AIは単一タスクの実行から、複雑な対話や情報生成など多様なタスクへと進化を遂げており、この変革期において企業が生成AIの潜在力を引き出せるインフラとソリューションの提供が不可欠と捉えているためです。
通信業界でのML活用
チョン氏は、通信業界のMLエンジニアの事例を図を用いて紹介します。このエンジニアは作成したモデルのサービス展開において、変動するトラフィックの管理や高コストなどの課題に直面していました。FriendliAIのサービスを導入することで、SLAの厳守や効果的なトラフィック管理を自動化し、GPUコストの大幅な削減を実現することができるのです。
大規模チャットボットサービスの最適化
生成AIを活用した大規模チャットボットの運営においても、同様の成果が報告されています。北米企業Nextday AIの事例では、Friendli Containerの導入により：
LLMの処理能力が2倍に向上
GPUコストを50%以上削減
生成モデルのコンテナ化プロセスを簡素化
などの大きな効果を生み出しています。
また、SKテレコムやTwelve Labsといった企業でも、FriendliAIのインフラやソリューションを活用することで、効率的な運用とコスト削減を実現しているとのことです。
技術的優位性と性能
チョン氏はによれば、独自開発のエンジンを用いたFriendliAIの性能優位性は明確であり、例えばLLaMA 70Bの実行において、同社は他社APIプロバイダーの中で最速のパフォーマンスを実現できるとのことです（下図参照）。さらに、次世代GPUの登場により、更なる性能向上が期待できるとしています。
W&BとFriendliAIのインテグレーション
FriendliAIは、Friendli ContainerやDedicated Endpointsなど、カスタム生成モデルを効率的に運用するための製品を提供しています。特に注目すべきは、Dedicated EndpointsにおけるW&Bとのインテグレーションです。
FriendliAIのプラットフォームでは、ユーザーがW&Bに保存するモデルやデータセットをそのまま簡単に取り込み、専用のエンドポイントに配置して利用することが可能になります。また、W&Bのモデルレジストリを通じて管理しているモデルをFriendliAIのシステム上で直接使えるようになるため、ユーザーはモデルのホスティングや設置に関する手間を省けるようになります。
またエンドポイント作成時、W&Bアカウントとリンクすることでモデルやデータセットを容易に取り込み、どのGPUを用いるかや学習率の設定などをカスタマイズできるため、スムーズにファインチューニングが可能です。加えて、W&B側にトレーニングログやメトリクスが連携されるため、トレーニング状況をリアルタイムかつインタラクティブにモニタリングすることができます。
チョン氏は「私たちはAIモデルの推論、ファインチューニング、エージェントの作成サービスを非常に高速かつコスト効率で提供している。そして、W&Bとのインテグレーションによって、よりいっそう簡単に利用できることを強調したい」と締めくくりました。このように、FriendliAIは効率的なAI運用の実現に向けて、W&Bとのインテグレーションを通じて開発から運用までの一貫したサポートを提供しています。韓国における生成AIの発展とW&Bの活用からも目が離せません。
素晴らしいご講演をしていただいた Gon Chun氏に厚く御礼申し上げます。
Weights & Biases, Inc. (W&B社) は、米国サンフランシスコを拠点とし、エンタープライズグレードのML実験管理およびエンドツーエンドMLOpsワークフローを包含する開発・運用者向けプラットフォームを提供しています。WandBは、LLM開発や自動運転、創薬など幅広い深層学習ユースケースに対応し、NVIDIA、OpenAI、Toyotaなど、国内外で80万人以上の機械学習開発者に信頼されているAI開発の新たなベストプラクティスです。
W&Bに関する詳細は下記をご参照ください
W&Bでは毎月ミートアップとオンラインウェビナーを開催しています