LLM-jp-3 を LLM Farm を使って iPhone で動かす
「LLM-jp-3」を「LLM Farm」を使って iPhone で動かす手順をまとめました。
1. LLM Farm
「LLM Farm」は、iOS及びmacOSでLLMを実行するためのアプリです。
2. 使用手順
「LLM-jp-3」を「LLM Farm」を使って iPhone で動かす手順は、次のとおりです。
(1) 「HuggingFace」から使用するモデルをダウンロード。
今回は、「llm-jp-3-3.7b-instruct-IQ4_XS.gguf」をダウンロードしました。
・https://huggingface.co/alfredplpl/llm-jp-3-3.7b-instruct-gguf/tree/main
(2) iPhoneで「App Store」から「LLM Farm」をダウンロード。
(3) 「LLM Farm」を起動し「＋ → Select Model → Import from File」で、先程ダウンロードしたファイルを選択。
(4) 「Prompt format」に以下のモデルのプロンプトフォーマットを指定。
### 指示:
{{prompt}}
### 応答:
(5) 「Prediction options」の「Metal」を有効化。
(6) 右上の「Add」ボタンを押す。
これで設定完了です。
(7) モデルを選択して、メッセージボックスに質問を入力。
LLMと会話できます。
