#AI
LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す
LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。
1. Weave「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。
主な機能は、次のとおりです。
2. Weave の準備今回は、「Google Colab」で「Weave」を使って「O
Google ColabでPatentfieldAPIを使用した類義語抽出
はじめまして、Patentfieldの公式noteです。
この記事では、Patentfieldの類似キーワード検索をAPIで利用する方法について、解説します。
１．類似キーワード検索とは入力したキーワードに対して、機械学習によって得られた類似度の高いキーワードを検索できるPatentfieldの機能です。日本語・英語に対応しています。
Patentfieldでは、数千万件の公開済み特許公報を学習
Google Colab で Kohya Trainer によるLoRA学習を試す
「Google Colab」で「Kohya Trainer」によるLoRA学習を試したので、まとめました。
1. Kohya「Kohya」は、画像生成のコミュニティで最も人気のあるLoRAトレーナーの1つです。
次の3つの学習方式があります。
今回は、「DreamBooth、キャプション方式」でLoRA学習します。
2. 学習データの準備今回は、「東北ずんこ・ずんだもんプロジェクト」で提供
LangChainの新機能🦜🕸️LangGraphを試す
概要#LangGraph は、LangChainの上に構築されたライブラリで、LLMを用いた状態を持つ、複数のアクターを含むアプリケーションの構築を可能にします。このライブラリはLangChain Expression Languageを拡張し、複数の計算ステップにわたって複数のチェーン（アクター）を循環的に調整する能力を持っています。このアプローチはPregelやApache Beamに触発され
もっとみる
LangChain クイックスタートガイド - Python版
Python版の「LangChain」のクイックスタートガイドをまとめました。
【最新版の情報は以下で紹介】
1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。
「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、
Axolotl で 一問一答の対話データセットによるLoRAファインチューニングを試す
「Axolotl」で一問一答の対話データセットによる「Axolotl」のLoRAファインチューニングを試したのでまとめました。
前回1. 学習内容今回は「Axolotl」の練習として、「Llama-2-7b」を「ござるデータセット」(databricks-dolly-15k-ja-gozarinnemon)でLoRAファインチューニングしてみます。
2. Colabでの実行手順Colabでの実
LLMのファインチューニングのためのツール Axolotl
LLMのファインチューニングのためのツール「Axolotl」の概要をまとめました。
1. Axolotl「Axolotl」は、LLMのファインチューニングのためのツールです。様々なLLM、データセット形式、アーキテクチャをサポートします。
2. Axolotlのサポート3. クイックスタート# インストールgit clone https://github.com/OpenAccess-AI-C
RAG評価ツール ragas を試す
RAG評価ツール「ragas」を試したので、まとめました。
1. ragas「ragas」は、「RAG」 (Retrieval Augmented Generation) パイプラインを評価するためのフレームワークです。「RAG」は外部データを使用してLLMのコンテキストを拡張するLLMアプリケーションです。「ragas」はこのパイプラインを評価して、パフォーマンスを定量化します。
2. Co
自律言語エージェントを構築するためのフレームワーク Agents を試す
自律言語エージェントを構築するためのフレームワーク「Agents」を試してみたので、まとめました。
1. Agents の概要「Agents」は、自律言語エージェントを構築するためのフレームワークです。
「コンフィグファイル」に自然言語で設定を記述するだけで、「言語エージェント」または「マルチエージェントシステム」をカスタマイズし、「ターミナル」「Gradio」「バックエンドサービス」にデプロ