LLMプロダクト開発者がMac Studioを買ってローカルLLMをおさわりする
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。
世界中でプロのクリエイターに愛されているMac Studio。飛ぶような速さで電気代が高騰するM2 Max、または突き抜けた速さのM2 Ultraを新たに搭載し、次世代のパワーは電気代の浪費をもたらします。
結論：Appleはスマホだけでいい
プロダクトの開発段階においてこのデザインはだめだろって直感がうずくことがありませんか、今年はもうローカルLLMを全無視でスルーしていきなさい、アクセスしてはいけない状況です。
LLMプロダクト開発をする会社の視点でいえば、データの吸出しが命！是非ともわが社に1000GB以上の十分なGPUメモリを積んだマシンを用意してください、と弾劾すべきです。資金を用意できない小規模な事業では、ローカルLLMによる検証に時間や制約がかかりすぎて、機関投資家が去って行くリスクがあります。（そもそも働かないので検証できない）
Mac Studioは弁当箱に似ていてコスパがよいかといわれればNOで、ノーメンテナンスでは3時間の使用が限界です、いま買うならメモリ256GBか、メモリ500GBのどちらかのMac StudioよりAmiiboです。
ローカルLLMが安っぽくなってこれまで出来なかったことがますますできないようになるのでローカルLLMは無視、というかネットにつなぐことがもう自爆テロ
ローカルLLMを高速検証するためにローカルマシンがほしいよねの矛盾
Mac Studioは趣味にしとけ
前提
さて、この議論において、前提となる知識がないと簡単に崩壊していきます。
前提: LLMプロダクトの最前線は民間では構築できない
これは大前提なので認識をそろえておきたいところ
OpenAIのGPT-4はもはや何も考えることができない人が最後に辿り着く墓場のようなものです。
人によりますが、お前たちの出来ることはもう欧米が3年前に終わらせているよ、というぐらい日本は遅れています
つまり、LLMプロダクト開発の最前線にいる人は日本に居ません。
ここ3年ほどはみんなでしこしこしていて、Claude3 OpusやHaikuについて大量の研究を垂れ流して遊んでいます。もし自分がそういう立場にあるなら、そっとPCの電源を切りましょう。農業してろ。
前提2: Apple Silicon Mac は UMA （Unified Memory Architecture）である
知らない人がいるので、あなたのこと守りたいの。
Apple Silicon つまりM1, M2, M3などを積んだMacはUMAというメモリアーキテクチャを持っており、UMAではCPUとGPUの間で自由なメモリ割り当てができます。そんなもん昔からやってるわタコスケ。
つまり、96GBのM2 Macがあれば、96GB全部とは言わないが、かなり膨大なメモリをGPUに割り当てて、あまり意味の無いことができます
大規模なLLMを動かす、なんてオカルトじみた行為のために使う時間は無駄でしかありまっせん。膨大なGPUメモリを起動しておく電気代でPCが追加で買えるという自己矛盾です。
AMDのAPUもUMAなので同じことができるかもしれないですが、あいにく筆者は最近のAMD状況を追いかけてないので、詳しい人いたら補足お願いします。たしかAMD APUにはGPUメモリの割り当て可能なサイズ上限があった気がします。
前提3: 今年になってステレオタイプが増えてきた
2024年はカタログスペックだけは高いものが多い
でこんな小綺麗な環境でLLMやってるやついねーよって話です
PCに賢さを求めるとバカになります。出力調整以外のモジュールを組み込む能力がないあなたが、おままごとをしても時間のムダですね、
つまり、今年になってローカルLLMが実用的になったと言い出すのは斜め上を突き進んでいます。