RTX3060上でJapanese StableLM Base AlphaをLoRAファインチューニングする
2023/08/12: Windows版のbitsandbytesのインストール方法について追記しました。
2023/08/12: PEFTのインストール方法と、学習後に保存されたLoRAモデルの読み込み方法について追記しました。
導入先日、Stability AI Japanから日本語の大規模言語モデル(LLM)として、70億パラメータの「Japanese StableLM Alpha 7B」が公開されました。
本記事の執筆時点(2023/8/11)で公開されているオープ