2023年9月の記事一覧
RAG評価ツール ragas を試す
RAG評価ツール「ragas」を試したので、まとめました。
1. ragas「ragas」は、「RAG」 (Retrieval Augmented Generation) パイプラインを評価するためのフレームワークです。「RAG」は外部データを使用してLLMのコンテキストを拡張するLLMアプリケーションです。「ragas」はこのパイプラインを評価して、パフォーマンスを定量化します。
2. Co
自律言語エージェントを構築するためのフレームワーク Agents を試す
自律言語エージェントを構築するためのフレームワーク「Agents」を試してみたので、まとめました。
1. Agents の概要「Agents」は、自律言語エージェントを構築するためのフレームワークです。
「コンフィグファイル」に自然言語で設定を記述するだけで、「言語エージェント」または「マルチエージェントシステム」をカスタマイズし、「ターミナル」「Gradio」「バックエンドサービス」にデプロ
【ローカルLLM】text-generation-webUIのAPI機能を試す
ローカルLLMをAPI的に使う場合は、llama.cpp（GGUF/GGML）が手軽そう。ただ、大きなモデルではExllama（GPTQ）も使えると便利。
LLM用のウェブUIであるtext-generation-webUIにAPI機能が付属しているので、これを使ってExllama＋GPTQのAPIを試してみた。
公式によると、WebUIの起動時に「--api」（公開URLの場合は「--pub