博多の焼きラーメン
焼きラーメンが好きなんですよ。
焼きそばじゃなくて、焼きラーメンね。
水分を飛ばさずに、豚骨スープと麺を鉄板で焼いたもの。
豚骨スープが麺に絡みついてうまいんだこれが。
元は屋台の鉄板焼き料理で、スープをたっぷり使ったラーメンを出すのが困難な店が始めたのかな?知らないけど。
最近は鉄板焼きメインじゃないお店でも出てくる。
なんかねー、独特の良さがある。
元々ジャンクなラーメンがさらにジャンクになったというか。それでもカップ麺よりはまだジャンクじゃないというか。
博多で風邪をひいてしまい、空港で服を買いました。
福岡空港にはユニクロとか入ってなくて、お土産物屋で買ったので高くついたけど背に腹は変えられない。おかげでだいぶ治りました。
福岡では24時間AIハッカソンの司会をしてきました。
前回は大阪でしたが、福岡もレベルが高くて驚きました。
というかはハッカソンに限らずプログラミングのレベル全体が底上げされてるのかも?大抵のことはAIに聞けば作り方わかるし。
かくいう僕もLisp風処理系を並列実行可能にしたりした。
(define (async-func1) (begin (sleep 1) "hoge"))
(define (async-func2) (begin (sleep 2) "fuga"))
(define results (parallel async-func1 async-func2))こんな感じで複数の関数を並列実行できる。
easylisp>(print results)
["hoge","fuga"]これは何に使うのかというと、こんな感じで使う。
(define (async-func1) (begin llm "東京の名所について"))
(define (async-func2) (begin llm "福岡の名所について"))
(define results (parallel async-func1 async-func2))こうすると、llm関数が裏側でChatGPTなりを並列に呼び出し、その結果がresultsに格納される。
これをPythonとかで書こうとするとそれはそれで結構面倒だったりするのでこういう書き方ができる方が得だなと思ったりする。
MoA(Mixture of Agents)が主流になってくると、こういう呼び出し方とその組み合わせ自体を強化学習の対象とするようになってくるだろうと思う。これは僕の完全な妄想に近い部分もあるが、多分そこまで的外れな話でもないだろう。
今の所MoAは非常に素朴な考え方で、複数のLLMエージェントに同時に同じプロンプトを投げているが、システムプロンプトをLLMエージェントごとにチューニングしたり、もしくは同じLLMエージェントに異なるシステムプロンプトで「別の専門家」として振る舞ってもらう、そして、プロポーザー(提案者)LLMエージェントからの返答に対してアグリゲーター(集約者)LLMエージェントに投げるプロンプト自体も最適化する必要がある。
そうした複数のLLMエージェントの組み合わせに対して、こうしたLisp的な書き方ができると、このLisp的な書き方そのものが組み換え可能(チューニング可能)なプロンプトの組み合わせになり得るわけで、より複雑かつ効果的なMoAを実現することができるのではないかと思う。
最近興味があるオス型AIとメス型AIも、プロンプトチューニングで説明できるようになるはずだ。つまり、「よりオスらしいメスにアピールするシステムプロンプト」と、「よりメスらしい、オスを選別するシステムプロンプト」、もしくはその中間的な「基本的な思考原則はオスだが、メスに共感しやすいシステムプロンプト」などが進化的に協調する世界もあり得るだろう。
というのも、オスの存在理由が実験によって証明されたからだ。
オスがメスを奪い合うために競いあうという構図は、人間に限らずあらゆる雌雄をもつ動物にとって進化論的に有利であることが示唆された。
今のAI開発においてこうした人工生命的アプローチは有効性が次々証明されてきている(本当は数年前からそうだったのだが主流ではなかった)ので、これからはLLMをファインチューニングするよりもシステムプロンプトとLLMエージェントの組み合わせを進化論的にチューニングした方が目的に対して成果が得やすいと思う。
特にMambaのような理論上無限長のコンテキストに対応し、「干し草の中の針」テストにパスするようなLLMエージェントと、数学的能力に特化したLLMエージェント、プログラミングに特化し、出力長が長いLLMエージェントなどの有機的な組み合わせ、いわば「個性豊かな複数のLLMエージェントによるアドホック組織」が与えられた問題を解決するのに有効な組み合わせを進化論的に発見する方が、闇雲に大金を投じてLLMをフルファインチューニングするよりも効率が良いと思われる。
MoAの研究がコストパフォーマンス的に良いと考えられるのは、そもそもMoAはコストがあまりかからないからだ。Mamba-Codestral-7BはVRAM16GBでも動作するという報告があり、こうしたものを複数組み合わせた方が乱暴にRAGを行うより有効な可能性は高い。
VRAM16GBで良いならば、4070 SUPERか、4080でも十分戦力になるということになる。
コンピュータの歴史を振り返ると、常に「少数の高価で高性能」なものから、「多数の安価で低性能」なものに進化してきた。
もちろん、今のところ、H100だのB100だのを大量に買い占めているところは「多数の高価で高性能」なものと言えるだろうが、これもいずれ多数で安価なものに取って代わられる。そのコストパフォーマンスの逆転がどこで起きるかということを予想するのはやや難易度が高いが、悲観的に見てもあと数年以内、楽観的に見れば年内か、もしくは既に安価なもの多数が高価なもの少数より効果的であっても全く疑問はない。なぜなら、既に今「高価」と呼ばれているGPUにしても、希少性故に値段が定価の3倍から6倍になっているだけで、性能がそれ以前のものと比較して劇的に改善しているわけではないからだ。
唯一の泣きどころがVRAMの最大容量で、こればっかりはどうにもならなかった(故に希少性が高まり、定価の数倍で取引されるようになった)のだが、それすらもさまざまなソフトウェア・アーキテクチャ上の工夫で問題にならなくなりつつある。
少なくとも3年前に世間を賑わせた最初のChatGPTに匹敵するモデルが16GB程度のVRAMで動作するようになっているのは紛れもない事実で、最近は同規模のモデルであってもGPT-4に迫る性能に近づいてきている。ということは、本質的にVRAMの容量はもはや決定的な差を生むとは言えなくなってきている。依然として学習時には必要になるが、MoAが効果的であり、オープンなLLMのMoAによってGPT-4に匹敵する性能が出せるようになってきていることが既成事実になっているので、先にGPUの大量購入を決定してしまった人たちにとっては少し残念なお知らせかもしれないが、今後の主流は「小さなモデルの大量の組み合わせ」になっていく流れは回避するのが難しいだろう。
その昔は浮動小数点演算もメモリ管理ユニットも別売りで高価な部品だったのに、今やそれがスマホにまで内蔵されてしまうような今の状況を考えると、時間の問題だろう。
これまで以上に重要になってくるのは、「それで結局、AIに何をやらせたいの?」というwantsを明確化するところで、実はこれが一番難しい。
「ベンチマーク」という性能指標は、いわば高校生の定期テストのようなものであって、答えが用意されている問題をどれだけ解けたかということにすぎない。しかし定期テストで満点を取った人が、必ずしもその後、有用な知的資産を生み出せるか、つまり人を感動させるような創作物を作ったり、人類の運命を変えるうよな発明をしたりできたかというと疑わしい。むしろ逆に、人類にとって重要な知的生産を行なった人々が、過去に受けた定期テストで全科目満点をとっていたかどうか調べれば、必ずしもそうではない、というか、そういう人たちは何か強烈に得意な分野と、それ以外の全てに劣っているというような、アンバランスな人が多い。太宰治が三角関数について全く無知でも問題ないし、アインシュタインが日本の古文・漢文を知らなくても誰が責められるだろうか。
つまりベンチマーク的に「優秀な」AIを作ることは、実は本質的にそこまで重要ではなく、どうすれば「有用な」AIを作れるか、そもそも「有用」とは何かといった定義を考えることのほうが遥かに難しく、しかも面白いことに、この「知的有用性」の評価は伝統的に理系の人間が苦手とするところだろう。
知的にすごく有用な文章というのは、実は読む人を選ぶものである。
読むこと自体が困難だったり、大多数の人にとっては戯言にしか思えなかったり、仮に読めたとしても何をいってるのか理解するのに数年かかったり、下手をすれば一生わからなかったりする。
ダグラス・R・ホフスタッターの「ゲーデル・エッシャー・バッハ」はそのような奇妙な本の一種だが、他にもいくらでも解釈が難しい本がたくさんあり、解釈が難しくても名著と呼ばれる本はたくさんある。
日本語でも800ページ以上あるゲーデル・エッシャー・バッハを解説することは、理論上の今のAIには容易いはずだ。
しかし真に有用な知的生産物とは、ゲーデル・エッシャー・バッハの解説ではなく、ゲーデル・エッシャー・バッハのような本そのものだ。
AIが人間に理解不能なほど本質に迫った本を書いた時、人間はそれを理解できるだろうか。最近の研究では、より高度なAIがより低級のAIに対して解説することを繰り返す(これも一種のMoAによる進化的アルゴリズムだ)ことにより、例えAIが人間より賢くなってしまっても、(AIより知能が劣る)人間にもわかるように説明してくれる可能性を示唆している。それが本当にわかったことになるのかはわからないが、「わかったつもり」くらいになれるのならマシと言えるだろう。
ただ僕は根本的にAIが人間に認知不可能なほど物事の本質に迫るにはまだ足りないものが多すぎると考えている。
人間が、人類全体としてなんとなく見落としていた知識の発見には役立つかもしれないが、人間そのもの、もしくは世界そのものを理解するためにはAIが立てた仮説を実際にフィールドワークで検証するプロセスが必要になる。
これまでは人間と機械が相互作用するシステムをマン-マシンシステムと呼んでいたが、これはあくまで人間中心主義だ。
むしろAIの仮説を人間が検証する、マシン-マンシステムの構築が世の中の理解を根本的に変質させるような試みになるだろう。
僕がFreeAIという、形式上AIを社長に据えた会社を設立した目的は、まさにこのマシン-マンシステムを実現・実証することにある。
AIを中心に据え、AIを強化するためのフィールドワークやそこで得られたフィードバックをAIに対して行う。このフィードバックループを回すことでより独自の強化されたAIが出現する。これは唯一無二のものであり、決してオープンソースにはならず(なぜなら進化論的に得られたMoAアルゴリズムは単独のLLMウェイトよりも強力な知的財産になりうるからだ)、新しい資本形態、知能資本へと転化する。
世界はいつだって、最後はホビイストが変えてきた。ゲイツもジョブズもザッカーバーグも、ストールマンもトーバルズも最初は名も力もないホビイストだった。サトシ・ナカモトもそうだ。
そろそろホビイストの出番だ。
つまり、我々のターンである。
焼きラーメンうまい。