MacでLLMを動かす【今日のAIニュース】

今日はニュース少なめです。

【2023/06/05(月)配信】 AIニュース

MacのM2 Maxで、LLMを動かすことに成功

【重要度】★
LLMを動かしている人は、ほとんど自作PCを使っていますが、Macでも動かせるようになりました。
@ggerganovさんのプロジェクトで、Llama.cppを動かすことに成功し、7B,  13B,パラメーターのLLMモデルを動かせました。

Watching llama.cpp do 40 tok/s inference of the 7B model on my M2 Max, with 0% CPU usage, and using all 38 GPU cores.

Congratulations @ggerganov ! This is a triumph.https://t.co/C6mn7jkMLb pic.twitter.com/8tcnVN4wEb

— Nat Friedman (@natfriedman) June 4, 2023