マガジンのカバー画像

LLM

336
本
運営しているクリエイター
thomas
shi3z

shi3z

RWKV14Bを日本語AlpacaデータセットでLoRAして公開しました(ご家庭で動く!?)

RWKV14Bを日本語AlpacaデータセットでLoRAして公開しました(ご家庭で動く!?)

布留川npaka大先生がRWKVのファインチューニングする方法を公開していたのだが、Google Colabでは7Bが限界で14Bは失敗したらしい。

人はいつでも、誰かのお役に立つチャンスを伺っている。
今こそ千載一遇のチャンス!ドスパラ様から我らがMemeplexのために開発していただいた、怒涛のA6000x2マシンが火を吹く時が来た!みんな!パソコン買うならドスパラ!AIやるならドスパラだぜ

もっとみる
npaka

npaka

Google Colab で RWKV-LoRA のファインチューニングを試す

Google Colab で RWKV-LoRA のファインチューニングを試す

「Google Colab」で「Alpacaデータセット」による「RWKV-LoRA」のファインチューニングを試したのでまとめました。

前回1. RWKV-LoRA「RWKV」を「LoRA」で学習するリポジトリです。「RWKV-v4neo」のみ「LoRA」に対応しています。

2. データセットデータセットは、「alpaca_ja」を使います。

リポジトリ内の「alpaca_cleaned_j

もっとみる