見出し画像

【え?こんなに簡単なの!?】 LMstudioでローカルAIを動かす方法 【Mac】

M1/M2/M3あたりを搭載しているMacがあれば、つよつよGPUが無くてもローカルでAIが動かせるってさ! じゃぁやってみよう!

M1/M2/M3シリーズは、なんか通常のメモリをGPUのメモリとして使っちゃうことができる仕組みがあるんだってさ。だからAIを動かすために必要なGPUメモリが足りなくても動かせちゃうんだって!? すごー

まずここにアクセスして LM studio をインストールする(無料)
https://lmstudio.ai/

windowsやlinuxもOKらしいよ


アプリを立ち上げましょう!
立ち上げたらさっそく試したいmodelダウンロードしましょう
(オープンになってるmodelですが沢山あります)

mistralってmodel入れてみる


試すmodelがダウンロードされるのを待ちます

進捗はウィンドウ下部にバー出る


ダウンロード終わったら話しかけてみよう!

chat画面開いて、model選択して、話しかける


(まずは英語でこんにちは)

動いてるぽい


以上!簡単でしたね!(簡単すぎ)


もっと喋れるAI model を探す

先ほど入れたmistralちゃんはあんまり日本語得意じゃないみたい(知能も低め…)

君とは話が合わない…交代で。


Llama3賢いって聞くけど、マシンスペック的にちょっと動くかわからないなぁ

他に何かいいのないかな


llama3の8Bモデルを探した(7B/8Bとかより70Bとかのほうが知能高いよ。動かせるなら)

ダウンロード終わったら、model選択を変更する


DL後、model選択を変更して話しかけてみる

うーん。会話は出来てるけど、もっと日本語達者な軽量model探そうか…


思い切って、「君のマシンには辛いかもよ」ってモデルをDLして試す

Lamma-3-70Bちゃん


DL完了!
(さて、どうなりますか…)

おっ!こんにちはっす!
この?
言…

おっそぉぉぉぉぉい
おっそいけどがんばってる

すごいね!2024/5の時点でローカルMacでちゃんとAIちゃんが動いてる
インストール簡単。いろんなモデルの試せる!
(M1/M2/M3系搭載のMacならGPUメモリ足りなくて動かなそうなmodelでも動かせちゃう)

動きが遅くても、そこそこの知能のAIがローカルで動くのは素晴らしいですね! ※電気代のみでいいし

最近はmodel開発の方もどんどん進化してるので、軽快に動いて高知能のAIモデルもそのうち出てきそうだよね。楽しみだね!

ではでは良きローカルAIライフを!!



ちなみに

もっとマシンパワー使ってよ!って設定も可能

ちなみに その2

DLしたモデルを、サーバーを立ててAPI化することも可能

DLしたモデルを、API接続で使えるようにできる



いいなと思ったら応援しよう!