【ローカルLLM】QLoRAの複雑なパラメータを（少しでも）整理する

前回の記事でも触れたとおり、QLoRAによるLlama-2のファインチューニングで試行錯誤している。

「QLoRA」は、LlamaのようなローカルLLMをファインチューンする場合に現在主流となっている手法。通常のLoRAよりもGPUリソースを大幅に節約でき、コストや時間の面でメリットがあるとされる。

パラメータ設定については、Llama-2-7BでQLoRAを行う場合の公式のスクリプトがあり、