LibreChat × AOAIのRAGで躓いたこと

今回は、LibreChatでAzure OpenAIを使用する際に、特にPDFファイルのRAG（Retrieval-Augmented Generation）機能を有効にする方法について、躓いたポイントを共有します。※OpenAIのAPI Keyを使用する場合は、問題ございません。以下は、Azure OpenAIを使う環境の場合だけです。

発生した問題

• PDFをアップロードすると、エラーが発生する。

• RAGを有効化することができない。

原因

• デフォルトの.envに、RAG APIが有効になっていない。

• Azureを使用する際に、embedded providerをAzureに指定する必要がある。

解決策

以下.envファイルに、

#==================================================#
#                        RAG                       #
#==================================================#
# More info: https://www.librechat.ai/docs/configuration/rag_api
ENABLE_RAG=true
RAG_API_URL=http://host.docker.internal:8000
EMBEDDINGS_PROVIDER=azure
EMBEDDINGS_MODEL=text-embedding-3-large

# replace with your key and endpoint of course
RAG_AZURE_OPENAI_API_KEY={AZURE-OPEN-API-KEY}
RAG_AZURE_OPENAI_ENDPOINT=https://{APP-NAME}.openai.azure.com

# endpoint had 2023-05-15 as a default but mine worked as well
RAG_AZURE_OPENAI_API_VERSION=2023-05-15

補足

LibreChatでAzure Open AIを使用する際は、librechat.ymlにEndpointを設定する必要があります。
動作済みのAzure Open AIの設定例をメモとして残しておきます。

# Definition of custom endpoints
endpoints:
  agents:
    recursionLimit: 50
    disableBuilder: false
  azureOpenAI:
    titleModel: "gpt-4o-mini"
    plugins: true
    assistants: false
    groups:
      - group: "Group_1"
        apiKey: "{AzureOpenAI-APIKey}"
        instanceName: "{AzureInstanceName}"
        models:
          gpt-4o-mini:
            deploymentName: "gpt-4o-mini"
            version: "2024-08-01-preview"
            default: true
          gpt-4o:
            deploymentName: "gpt4-o"
            version: "2024-08-01-preview"

docker-compose.ymlの編集：librechat.yamlをバインドしておいてください。

- type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

まとめ

Azure OpenAIをLibreChatで使用する際は、特にRAG機能を有効にしたい場合、以下の注意が必要です：

• .envでのRAG関連パラメータの設定

なお、LibreChatのセルフホスティングでお困りの方は、導入支援も承っております。お気軽にご相談ください！

#LibreChat #AzureOpenAI #RAG #技術メモ