RWKV-4-Raven-3Bは生成も速いしサイズも小さくて良さげ（LLMの話）
つい先日、RWKV-4-Ravenの7Bモデルと14Bモデルを動かした話をnoteに描いたのですが、よりサイズが小さい3Bモデルが出ていました。「EngAndMore」という、日本語を含む多言語モデルもありました。
早速こちらを動かしてみました。生成が速く、VRAM使用量も少ないです。上記リンクからダウンロードしたままの状態でも、VRAM使用量は8GB程度でした。
話す内容は7Bや14Bに比べるとちょっとお馬鹿っぽくはなりますが、ちゃんと日本語が通じます。アイデア生成の壁打ち役などに使えそうです。
動かし方は7Bや14Bの時と同じなので、私の前の記事を参照していただければ幸いです。
ちなみに、fp16i8に変換したらVRAM使用量は6GB以下にまで小さくなったのですが、なんかちょっとバカになった気はしました。
ちなみに、このモデルをファインチューニングできればAITuberなどに使えそうだと思っているのですが、まだ上手くいっておりません。RWKVの3Bサイズのファインチューニングに成功した方は、ぜひやり方を教えて欲しいです…！