プレ・シンギュラリティ、もう始まってない?
ほぼ毎日、30分間、シラスで「デイリーAIニュース」をやっている。あっという間に三ヶ月が経った。
毎日AIニュースを追いかけていると、当然、波がある。
「今週は落ち着いてるな」とか「今日はやばいな」とか。
今日は、久々に「やばいな」という日だった。
まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。
さらに、AttentionとMLPを使わない大規模言語モデルの実装も見た。世界を三次元的に解釈して合理的な質問と答えを行う大規模言語モデルもあれば、4ビット量子化した60モデルは8ビット量子化した30Bモデルよりも高性能という主張がなされたり、Googleは論理回路の設計を強化学習で行なっているという。どれもこれもにわかには信じ難いが、今目の前で起きていることだ。
「シンギュラリティ」の定義には、「AIがAIを設計し、改良し続ける」という部分があるが、今のAIは人間も考えているが、実はAIがAIを設計している部分も増えている。そもそも論理回路をAIが設計するということは、論理回路について人間は深く考えるのをやめてしまっている(やめてしまっていい)ということだ。
先日、シリコンバレーのCPUアーキテクトを招いてシラスで特別講義を行ったが、その時に「日本にはCPUアーキテクトは育たない」という話になり、「CPUアーキテクトを育てるより、CPUアーキテクチャを考えるAIを設計する方が早くて効率的」というようなことを言っていた。多分それは間違いない。
ということは、今はまだ人間がAIの進歩に関与している段階であるが、人間は自分の意思でこれをやめることはできない。溢れる好奇心。あくなき探究心といった人間が将来的に持ち、おそらく他の動物にとって希薄である特質によって、我々はAIがシンギュラリティに向かって一直線に行くことを止められない。個人がやめたとしても、他の人は欲望を抑えられない。環境破壊と同じである。今更電気のない生活に戻れるか。今更AIのない生活に戻れるか。否。
これほど急激にかつ急速な進歩は、日進月歩、ドッグイヤーなどと呼ばれてきたIT業界に四半世紀いた人間としても経験がない。インターネットとgithub、最近だとhuggingfaceやcivitaiみたいな仕組みによって、ありとあらゆる人と技術と情熱がこれまでにないほどの帯域幅で交錯している。
これ、もうシンギュラリティ始まってんじゃないの?
AIの研究というのは、大半の時間が、AIが動いている時間である。
今、「ある目的のAIを作るAI」を作ることは、とても簡単だ。
しかし、それをしている人がとても少ないのは、単に「AIを作るAI」を信用できないのである。というか、それは楽しくないのだ。「どうやってAIを作ったらうまく行くか」を考えるのがAI研究者の楽しみだとすれば、「AIを作るAI」に電源を入れ続けることは、貴重なリソースの浪費でしかない。
これを突破するには「AIの作り方を考える」ことよりも、「AIを作るAIの作り方を考える」ことの方が面白くなる必要がある。これも原理的には現行の技術で十分可能なのだが、そうしたくならないのは、結局「自分が遊びたい」からである。
これを突破できるとすれば、もう少し「AIが学習する」スピードが劇的に、例えば10秒で30BのLLMが学習できるような状況になれば、学習そのものの組み合わせを総当たりしたくなるので「AIを作るAIを作ること」にみんなの興味が移るだろう。そして実際のところ、LLMの規模はどんどん小さくなり、精度は上がり、学習時間は短くなっている。いずれその時がくれば、多分みんなが強化学習や遺伝的アルゴリズムで「AIを作るAI」を作ったり、「AIを作るAIを作るAI」を作ったりするようになり、最終的には「AIを作るAI」が作ったAIを試す速度が、AIが作られて学習が完了する速度を上回ることになる。
そんな有様だから、多少はポエジーにならざるを得ない。
昨日、IT批評家の批評家の尾原和啓さんと今日発売の新刊の刊行イベントで話した議事録を今朝見せられて、「落合陽一くんみたいな話し方になってる!」と思って衝撃を受けた。僕はもっとわかりやすく物事を喋る人間だと思っていたのに。
彼はアーティストだから、多少何言ってるかわかんないくらいがいいんですよ。でも僕は実業家だからね。ここまでわけわかんないことを言うべきではない。でも聞かれるがままに、今の世の中で何が起きてるのか聞かれて答えると、どうしてもそうなっちゃう。誰でも詩人のように感じたことを自分の言葉にするしかないのだが、「すげえ」以外の言葉で説明しようとするとどうしてもノストラダムスの予言詩みたいになってしまう。
世の中が完全に学研ムーになってしまった。
まあこの表現自体がポエジーなんだけど。
と言うわけで本当に売ってるのか不安になって本屋さんまで確認しにいっ
てきました。
もはや紙の本ってグッズとしての意味の方が強いよね。