7.50歳のノンプログラマーのおじさんがAIの力を借りて自分専用の生成AIを開発する話〜第7話

第7話「おじさんとAI、行き詰まる」

前回のあらすじ

KITTにキャラクター性を持たせるため、JSONを活用した応答カスタマイズに挑戦。キーと値の仕組みを学び、PythonでKITTの応答を動的に管理する方法を実装すべく奮闘。これにより、会話の自然さが向上し、KITTの個性が強化さるはず。しかし、いかんせんめんどくさがり屋のおじさん。「こんなにJSONいちから作っていくなんて日が暮れちまう。もっとサクッとできんもんかな」とぼやく始末。次回予告ではハードウェア強化を予定していたが、JSON開発に集中したため延期に。AI開発は一筋縄ではいかないが、一歩ずつ前進している。さて今回は・・・

AIよ、もっとサクッとできんのか〜DeepSeek-R1を導入？

KITT AIの開発もいよいよ本格化。(とはいえおじさんはいかに手を抜くかばかり考え中)となると、より強力なAIモデルが必要だ。そんなわけで「DeepSeek-R1」を導入しようと考えた。こいつは、処理能力も高く、日本語にも強い。これをラズパイに載せることができれば、KITTはより賢くなり、まさに相棒としての完成度が増すはずだ。

しかし、ここから試行錯誤の連続。簡単にいくと思ったのが甘かった。

KITT「マイケル、落ち着いてください。AI開発は一日にして成らず、です」（いつのまにかおじさんAIにマイケルと呼ばれるようになってる）

俺「いやいやいやいや、落ち着けと言うがね、KITTくん。こちとらね、サクッとやろうと思ってんですよ。ほら、昭和生まれのおじさんはね、せっかちなの。もうね、思いついたら即やりたいわけ。でも、どうもお前さんは、ワタクシに苦行をさせたいらしい！」

KITT「サクッとは無理です。じっくりと確実に、ですね」

俺「ほぉ、そうかいそうかい。じっくり確実にね。……で、いつになったら終わるの？」

---

試行錯誤1〜グラボの死んでるMacじゃ無理

まずは手持ちのMacBook Proで試してみる。ところが、ここで大問題が発生。GPUが死んでいるせいで、全くパワー不足。量子化どころか、まともに動かすことすらままならない。無念。いきなり壁にぶつかった。

「おかしいな？なんでこんなに遅いんだ？…あ、GPU死んでたんだった…」

KITT「マイケル、まさかとは思いますが、ご自分の環境を確認せずに作業を始めたわけでは…？」

俺「んー、まぁ…ね、あれよ。確認はしましたよ、してたつもりだったんですけどね。いや、でも、ほら！ Macだよ？Mac！『クリエイターのためのマシン』とか言うじゃない。なーんでこんなにパワーがないの！？えぇ！？」

KITT「冷静に。ハードウェアの性能には限界があります」

俺「えぇー！？そんなのってある！？だってこのマシン、お高かったんですよ！？なんなら今でもそこそこ良いお値段しますよ！？」

KITT「では、別の手段を考えましょう」

俺「……それを最初から言ってほしいよねぇ」

---

試行錯誤2〜ハイスペPCならサクッと。。。のつもりだったのに

次に試したのがハイスペックWindows PC。Intel Core i7-13700F + RTX 4070 Ti の鉄壁マシンなら、さすがに楽勝だろうと思った。

が、ここでも問題発生。Windows環境では「flash_attn」パッケージのインストールが通らず、ビルドツール周りで詰まる。何度も試行錯誤したが、動かすまでに時間がかかりすぎて、「これじゃ時間がもったいない」と判断。

「最強のPCがあるのに、なぜか思うように進まない…」

KITT「マイケル、スペックがすべてではありません。環境の構築が重要なのです」

俺「……ほう。環境の構築が重要ねぇ。なるほどねぇ。で、KITTくん、環境の構築ができてないのは誰のせいですかねぇ？」

KITT「……あなたです」

俺「そうだね！？そうだよね！？また私が悪いって話になるよね！！！」

KITT「では、Colabを試してみましょうか」

俺「……逃げたな？」

---

Google Colabにも手を出す、が。。。

ならばクラウドだ！と、次に試したのが「Google Colab」。

「こいつならGPUが使えるし、環境構築も楽だろ！」と思ったが、思わぬ落とし穴があった。まずは無料枠ではメモリ不足になり、Colab Proにアップグレード。ようやくまともに動かせる環境が整ったと思ったら、今度は転送問題で手詰まり。

「DeepSeek-R1のモデルサイズがデカすぎる！！！」

ローカルからColabへの転送が遅く、ストレージもすぐに足りなくなる。Google Driveに保存しようとしても、すぐに圧迫される。

「Googleさん、ストレージ増やしてくれませんかね？こちとらAI育ててるんですよ！」

KITT「マイケル、冷静に。怒りをぶつけても解決しません。適切な手段を考えましょう」

俺「適切な手段！？ お前が代わりに何とかしてくれよ！！！」

KITT「それができれば、とっくにやっています」

SSHトンネルやngrok、Cloudflare Tunnelなど、いろいろな方法を試したが、どれもうまくいかない。

「詰んだか…？」

KITT「マイケル、諦めるにはまだ早いですよ」

俺「そりゃそうだろうけどさぁ……いやぁ、長いねぇこの道のりは……」

いや、諦めるわけにはいかない。解決策はまだあるはずだ。

（次回へ続く）