[オタク機器日記] Intel GPUでローカルLLMを動かす
兼業作家は作家業だけでは生計が立たないで、本業も頑張る必要がある。さてその本業に生成AIを活かそうとすると立ち塞がるのが、NVIDIA GPU納期問題である。Supermicroのような存在があるので、納期をお伝えした瞬間に「今日は有意義な打ち合わせでした。それではごきげんよう」で諸々の話は立ち消えとなってしまいかねない。(弊社経由だと納期は…)
そうすると僕としてはNVIDIAさんとは長年の付き合いだけれども、NVIDIA以外の道を模索せざるを得なくなる。なんだかAMDは付き合いがないで詳しく知らないけれども、どうも妙に元気がない。将棋の藤井名人が200万円と評価されるPCを導入しているし、世界ランキング1位のAIスパコンFrontierにはAMD製GPUが採用されているというのに、妙に静かだ。
(Instinct MI300採用システムの出荷が始まっているのにM3チップばかり)
で、このところ地道に頑張っているがIntelだ。それと同時に、ITベンダも静かにIntel対応を推進している。そんな訳で野良エンジニアではあるものの、Intel GPUで遊んでみることにした。
ちなみに今のところ、ノートパソコンのNPUでCommand R+ 104B版を動かすことには成功したものの、Intel ARC 770GPU (VRAM/16GB)では成功していない。全てをVRAMに乗せることができる7B版LLMが精一杯という状況だ。
そんな訳でしばらく肝心のLLM使いこなしからは道を外すことになるけれども、そこは社畜の哀しさである。しばらくLLMそのものからは逸れた話題が増えると思うけれども、なにとぞご容赦頂けると幸いである。
それでは今回はこの辺で、ではまた。
ちなみにお馴染みLlama.cppも、Llama.cpp for SYCLをリリースした。これでIntel製のiGPU (NPU) やGPUもLlama 3を実行できるようになっている。
ーーーーーーーー
記事作成：小野谷静（オノセー）
Ｐ．Ｓ．
これだけのリンクで、やれる人はやれるだろう。
(ついでにオマケ。ただしこのQiita記事は2024年1月時点なので、今は状況が変わっている)