LM Studioの使い方
LM Studioとは、ローカル環境で、言語モデルを探してダウンロードしたり、言語モデルを利用して会話が出来たり、言語モデルサーバとしての機能も果たします。
所感は、GUIベースで操作できるので、プログラミングに馴染みの無い人や、言語モデルを試してみたい人には手軽に設定することができるので有益なツールだと思います。
今回は、LM StudioをWindows PCにインストールして使う方法を纏めてみました。
LM Studioのインストール
下記のページからダウンロードしてきます。
上記ページの"Download LM Studio for Windows"をクリックしてダウンロードし、Windows PCにインストールします。
言語モデルのダウンロード
次に、OpenHermes 2.5と入力し、Goをクリックします。
検索結果が出力されます。
次に、右側の"Download"をクリックします。
下の方の画面に、ダウンロード状況が出力されます。
ダウンロードが完了したら、左側の上から3番目の吹き出しマーク(AIChat)をクリックします。次に、上部の"Select a model to load"をクリックし、先ほどダウンロードしたopenhermesを選択します。
これで、準備が完了しました。
言語モデルの実行
下部のところにあるUSERの入力フォームに色々と入力して聞いてみましょう。
日本語は理解できるようですけれど、この言語モデルだと厳しい感じがします。
今回の実行環境は、Memory16GBのパソコンです。実行時は遅く感じましたが自身のパソコンで出来るのは驚きです。
今度は、英語で、もっともベストな首相は誰かと聞いてみましょう。
このように、言語モデルを読み込んで、その言語モデルを利用して、GUI形式で会話ができます。
言語モデルサーバとしての使い方
他にも、言語モデルを読み込んだ環境を言語モデルのサーバとして利用できます。
左側の上から4番目の⇔をクリックします。
左側のところに、Server Port 1234で、1234ポート経由でアクセスができるということです。
また、真ん中のClinet Code Examplesには、このサーバにアクセスするときのcurl, pythonなどのサンプルコードがあります。
上記のコードをPython環境で実行してみますと、下記のように出力されました。
ChatCompletionMessage(content="Hey there, it's me, I'm the Yoda guy,\nWith knowledge vast and wide, under the sky.\nMy rhymes are my power, in wisdom and might,\nGuiding you through life, making everything right!", role='assistant', function_call=None, tool_calls=None)
2024/05/03追記
GUIではなくCUIが好きな人は、ollamaというツールでローカルLLMを操作できます。
(追記2024/06/29)
ARM用のLM Studioの記事を書きましたので、Copilot+PCでSnapdoragon利用している人は参考になります。