2023年10月の記事一覧
Axolotl で 一問一答の対話データセットによるLoRAファインチューニングを試す
「Axolotl」で一問一答の対話データセットによる「Axolotl」のLoRAファインチューニングを試したのでまとめました。
前回1. 学習内容今回は「Axolotl」の練習として、「Llama-2-7b」を「ござるデータセット」(databricks-dolly-15k-ja-gozarinnemon)でLoRAファインチューニングしてみます。
2. Colabでの実行手順Colabでの実
LLMのファインチューニングのためのツール Axolotl
LLMのファインチューニングのためのツール「Axolotl」の概要をまとめました。
1. Axolotl「Axolotl」は、LLMのファインチューニングのためのツールです。様々なLLM、データセット形式、アーキテクチャをサポートします。
2. Axolotlのサポート3. クイックスタート# インストールgit clone https://github.com/OpenAccess-AI-C
RAG における埋め込みモデルの比較
LLM を使った RAG を行う際に埋め込みモデルが必要となりますが、どの程度差がでるのか 4 種類ほどの埋め込みモデルを使って検証してみたいと思います。
今回試す埋め込みモデル:
intfloat/multilingual-e5-large
cl-nagoya/sup-simcse-ja-large
pkshatech/GLuCoSE-base-ja
openai/text-embed