大規模言語モデルメッシュ（LLMメッシュ）

LLMメッシュは、生成AIアプリケーションの共通バックボーン

LLMメッシュは、企業が大規模なLLMを安全かつ効率的に使用してアプリケーションを構築するために必要なコンポーネントを提供するプラットフォーム

LLMメッシュが重要な５つのポイント

・アプリケーション層とAIサービス層を分離してデプロイする
アプリケーションとAIサービス層を分離し、それぞれを独立してデプロイします。これにより、アプリケーション層とAIサービス層の間の依存関係を減らし、メンテナンスと拡張を容易にすることができます。

・承認済みのLLMサービスへの安全なゲートウェイを強制し、監査記録を維持する
承認済みのLLMサービスへのアクセスを制限し、監査記録を維持します。これにより、LLMサービスの悪用を防ぎ、不正アクセスの追跡を容易にすることができます。

・どのデータベースをどのLLMで使用できるかを定義して、安全な使用を確保する

LLMごとに使用できるデータベースを定義します。これにより、LLMが不正なデータにアクセスするのを防ぐことができます。

・キャッシュを使用してコストを制御し、不要な再生成を回避する
LLMの応答をキャッシュして、コストを削減し、不要な再生成を回避します。

・組み込みの検索拡張機能を使用して、クエリと応答を豊かにする組み込みの検索拡張機能を使用して、クエリの精度を向上させ、応答をより有益にします。