llama2のセットアップメモ (ダウンロードと推論)

話題のモデルのセットアップ

Llama2とは商用利用が可能(諸説あり)で､GPT3並の性能を持つ､オープンソースモデルの本命です(2023/7/19時点)

利用方法

いくつかあります

手段1 Metaの公式モデルを使う

登録必要

あまり使いやすくない印象です

13b以上は､GPU並列利用が基本(?)

手段2 Hugging faceの公式連携モデルを使う

登録必要

便利です