LLMTuneでLLaMA-30B (65B)をfine tuningする メモ

2023/7/13追記
マルチGUPにも対応した､こちらのライブラリがオススメです

概要オープンLLMの教祖とも言える､LLaMA-65B(やその小規模version)をQLoRAでファインチューニングします

こちらのモジュールを使うだけですが､執筆時点で､要修正な箇所があります

どのLLMをファインチューニングするかは､色々と悩むところですが､やはりモデルサイズの大きさは正義なので､デカい