2024年6月の記事一覧
transformersでGGUFを読み込んでみよう！
こんにちは！クロガネです。
transformersでGGUFが読み込めるようになったのでメモがてらに読み込んでみます。
基本的には公式ドキュメントの通りです。
GGUF and interaction with Transformers (huggingface.co)
ちなみに、書いてある通り、ロード時にfp32にde-quantizeされるので特に軽くなりません。ただし、通常通り、tor
大規模言語モデル(LLM)やそのツールの情報整理2024.06版
今月に入って気が付いたのはPhindの無料版に利用回数制限があること。自身に聞かせると1日最大10回らしいが、ログインなしでは実際もっと少なかった。会員登録したり有料プランにすれば使えるだろう想像はつくけど、登録・有料は数を絞りたいし、何より会社のセキュリティールール的に面倒。Microsoft CopilotもEdgeのサイドバーにあるので便利でつい使っていたが、やはり回答精度が良いのは、、、と
もっとみる
Llama 3をReFTでファインチューニング
Pythonライブラリpyreftより少ないパラメータ数で、より優れた性能を達成する可能性のあるファインチューニング方式「ReFT」（Representation Fine-Tuning）。
少ないファインチューニングパラメータで、より強力なパフォーマンスを発揮し、ファインチューニングの効率を向上させ、コスト削減を実現します。
そのPythonのライブラリが「pyreft」です。
上記リポジト
LangChain で RAGのハイブリッド検索 を試す
「LangChain」でRAGのハイブリッド検索を試したので、まとめました。
1. RAGのハイブリッド検索「RAG」のハイブリッド検索は、複数の検索方法を組み合わせる手法で、主に「ベクトル検索」と「キーワード検索」を組み合わせて使います。
2. LangChainの準備LangChainの準備の手順は、次のとおりです。
(1) LangChainのパッケージのインストール。
# Lang
Self-RAGについて
Self-RAG: 自己反省による検索強化生成Self-RAGは、検索強化生成（RAG）モデルのパフォーマンスを向上させるための新しいアプローチであり、大規模言語モデル（LLM）が情報の検索時期と取得情報の関連性および品質を評価する能力を持つことを可能にします。この記事では、従来のRAGの限界、Self-RAGの内部動作、そのトレーニングプロセス、実用的な応用、および産業用LLMに革命をもたらす可
もっとみる