LlamaIndex によるOpenAIの新機能を使用・理解するためのガイド
以下の記事が面白かったので、かるくまとめました。
1. 新機能
1-1. Parallel Function Calling
・エージェント
・複数のツールを一度に呼び出す
・順次実行よりも高速 (例: ReAct)
・構造化データの抽出
・Function Callingを使用して、複数の構造化された出力を一度に抽出 (例: 複数のPydanticオブジェクト)
・Pydanticクラスでラッパーを定義する必要がなくなった
・ガイド
・Structured Data Extraction
・Parallel Function Calling for Agents
1-2. Assistant API Agent
・組み込みの「Retrieval Tool」「Code Interpreter Tool」を使用
・独自の「Vector Store」の持ち込み
・ガイド
1-3. Function Callingによる高度なRAG
・QA と 要約 のジョイント
・Auto-retrieval
・text-to-SQL と semantic search のジョイント
・ガイド
1-4. マルチモーダルRAG
・マルチモーダルLLM、埋め込み、インデックス
・GPT-4V、LLaVa、Fuyuと統合
・ユーザーのクエリを指定して、取得した画像/テキストを出力
・ガイド
・Blog
・Guide
・Multi-modal CLIP Retrieval
・Retrieval-Augmented Image Captioning
1-5. [Draft] GPT Builder (at home)
・「Meta」tools : システムプロンプトの作成、ツールの作成、エージェントの定義
・ガイド
2. 分析
2-1. JSONモード vs Function Calling
・Function Callingは構造化データの抽出に使いやすい (JSONモードは常に有効)
・JSONモードはJSON形式を検証するが、スキーマは強制しない
・ガイド
2-2. GPT-4のコンテキスト制限の分析
・長いコンテキストLLM (コンテキストウィンドウのオーバーフローなど) を使用した大規模な要約は依然として困難
・gpt-4 と claude-2 の両方ですべてのコンテキストが同等に扱われるわけではない
・ガイド
2-3. Retrieval API のベンチマーク
・「Retrieval API」はどの程度優れているか、デフォルトのtop-k RAGパイプラインと比較。
・驚くべきことに、状況はさらに悪くなる (しかし、より重要なのは、独自のデータに対してスクリプトを実行する必要があること)。
・ガイド