シリコンバレーを飼いならす - ゲーリー・マーカス教授

47,743 文字

おはようございます。今回はゲーリー・マーカス教授にお越しいただきました。ゲーリー先生、MLCへようこそ。
ゲーリー: ようこそってなんやねん。わしが呼ばれてきたんやから、ありがとうございますって言うてくれへんと。
司会: あっ、そうでしたね。失礼しました。ゲーリー先生、お忙しい中お越しいただき、ありがとうございます。
ゲーリー: ええよ、ええよ。MLCは好きやからな。また呼んでもろてうれしいわ。
司会: それではさっそくですが、ゲーリー先生。長年にわたってこの分野で活動されていますが、なぜ今もこの仕事を続けているのでしょうか? そして、なぜこの本を書かれたのですか?
ゲーリー: せやな。この新しい本を書いたんは、シリコンバレーがモラル的に堕落してるって感じたからや。実際、本の中の1つの章のタイトルが「シリコンバレーのモラルの衰退」やねん。
特にそう感じたんは、マイクロソフトがSydneyっちゅう製品を出したときや。Kevin Rooseがそれと会話して、離婚せえとか言われたんやけど、マイクロソフトは製品を引っ込めるんとちゃうて、ちょっと修正しただけやったんや。それを見て、何かが変わったなって思うたわ。
そのすぐ後に、サティアが「Googleを踊らせてやる」みたいなこと言うてな。一晩で文化が変わってもうた感じやった。そのきっかけになったんがChatGPTの人気やったんやけどな。
突然、みんなここで金儲けできるって思い始めて、態度が180度変わってもうたんや。それが心配やった。技術がまだ未熟やのに、すごい害を及ぼす可能性があるからな。
そんなわけで、研究の方は一旦置いといて、政策の方に全力を注ぐことにしたんや。ある意味、この本は回顧録みたいなもんやな。そうは書いてへんけど、あの時期の記録みたいなもんや。ゲーリーが上院に行って、議員さんらとええ話をして、でもその後何も起こらんかったっちゅう。
上院議員と話して、何かしてくれるんちゃうかって思うたんやけど、だんだんと...。まあ、警告はされてたんやけどな。自分で見てみんとわからんかったんや。その点では素人やったわ。DCに行って、Googleとミーティングしたんやけど、議事堂のすぐ近くのホテルに泊まったんや。行ったり来たりせなあかんから、遅刻できへんからな。
せやけど、Googleのオフィスがそのホテルの隣にあってん。議事堂のすぐ近くやで。あいつら、あらゆるレベルで組み込まれてるんや。これはほんまに比喩やけどな。
Googleだけやあらへん。OpenAIもMetaもみんなそうや。ロビー活動がどないなってるか知ったら、ええアイデアが大きな支持を得ても、投票にもかけられずに消えてまうんを見たら...すごい幻滅したわ。その幻滅が「シリコンバレーを飼いならす」っちゅう本につながったんや。
わしらはものすごい勢いで寡頭制に向かってるって気づいたんや。考えてみい。あいつらがどんなデータ集めてるか。OpenAIはみんなの文書にアクセスしようとしてるし、お前のことぜ〜んぶ知りたがってる。もちろん、それを武器にするつもりやろ。
いろんな形で売るんやろな。政治広告とかにな。まあ、せえへんって言うやろけど...。こんなの前にも見たことあるやろ? 莫大な権力を手に入れてるんや。それも、金儲けできるって思われてるからや。実際そうやないかもしれんのにな。
皮肉なことに、実際に何か成果を出す前に権力を与えられてもうてるんや。AGIを作れると思われてるから、権力を持つべきやって。でも実際作ったんはLLMsで、AGIやあらへん。商業的にも使えへんのに、すごい権力を持ってしもうてる。
いろんな委員会に入ってたりしてな。シリコンバレーが突然権力を手にしたんや。政府から奪ったようなもんや。本来なら政府が「おいおい、まず実力見せてからやで。ちょっとは権力あげてもええけど、無制限はあかんで」って言うべきやのに。政府は何もしてへん。
EUは違うけど、北米ではあんまりやな。わしはこれを全部見てて、どういう結果になるか考えたんや。そして、政府に頼れへんって気づいたんや。この本を書いてる時、すごいジレンマがあってん。
わしの望む通りに世界が動いたら、本を書くのは完全に時間の無駄になるからな。他の人と同じで、誰も読まへん、時代遅れになった本なんか書きたないやろ。作家として、ワシントンが突然まともになって本が意味なくなるんちゃうかって怖かったんや。
まあ、世界のためにはええことやけど、自分の本のためには悪いことやな。変な立場やったわ。自分に賭けるのとは逆みたいな...よくわからんけど。せやから、実際に何かが起こるんちゃうかって怖かったんや。本が要らんようになるんちゃうかって。
でも、そんな心配は全然要らんかったわ。ワシントンは結局、責任放棄してもうたからな。特にチャック・シューマーや。上院多数党院内総務として、強力な法案を提出する力があったのに、8ヶ月も聞き取りばっかりして、法案やなくて白書出しただけや。時間稼ぎしたんやな。
今録音してる時点では、選挙が近いから、もうほとんど何も起こらへんやろな。ワシントンのダイナミクスってそんなもんや。選挙に影響するかもしれんから、誰も首を突っ込みたがらへん。去年の5月16日に上院に呼ばれた頃から始まった、どないしてこの問題に対処するかっちゅう大きな興奮は、完全に消えてしもうた。風と共に去ってしもうたんや。
チャンスは完全に無駄にされてしもうた。この本のポイントは、これらの企業に自主規制を任せられへんってことや。約束したことを守らへんのや。UKの政府に事前テストについて約束したのに、守らんかったっちゅうスキャンダルがあったやろ。
USの人はあんまり知らんかもしれんけど、自主規制でやるって言うたことをせえへんっちゅう一例やな。もちろん、自分らがやったことを小さく見せようとするやろし、できるだけ邪魔にならんようにするやろ。
政府の大きな問題は、規制の虜になるか、何もせえへんかのどっちかってことや。わしは状況を見て、何も起こらへんって気づいたんや。そうなると、これを正しくするには論理的に1つの可能性しか残ってへん。
もしこれを正しくせえへんかったら、大変なことになるで。ソーシャルメディアみたいになるけど、もっとひどくなる。「早く動いて何かを壊す」やな。残された唯一の方法は、直接市民に訴えかけることや。
それが、わしが今やろうとしてることや。誰かが気にしてくれるかどうかはわからんけどな。アメリカやほかの国の市民に、大きな声を上げて、ボイコットとかしてほしいんや。「政府がアーティストや作家の面倒見えへんのやったら、アーティストや作家から盗むソフトは使わへん」って言うてほしいんや。次は自分らが狙われるって分かってるはずやからな。
ニーメラーの詩みたいなもんや。「最初にユダヤ人とゲイがやられて...」って。企業は全部欲しがってる。全部持っていきたいんや。キーボードの打鍵とか、コンピューターでやることは全部取られて、お前らに取って代わられるんや。それが今のゲームや。
みんなで立ち上がって、「もっと公平なAIが欲しい」って言わんと。みんなが同じ結果になるっちゅうわけやあらへん。公平っちゅうのは、みんなに公平なチャンスがあるってことや。お前らのIPを使うんやったら、ちゃんと補償せなあかん。他にもいろんな側面があるけどな。
民主主義を機能させたいって立ち上がらんと、ディープフェイクに満足してられへんって言わんと。ディープフェイクは法的に何か起こるかもしれん唯一の分野やけどな。市民が「これは重要や」って立ち上がらんと、しかもすぐにやらんと、ソーシャルメディアのときと同じように、もしかしたらもっとひどいことになるで。
ソーシャルメディアの問題は、すでに根付いてしもうて、今さら直せへんってことや。まあ、子どもの法案は通ったけどな。でも大体において、ソーシャルメディアは今のままや。もう何もできへん。たぶん社会にとってはマイナスやな。楽しいし、わしも使うてるけど、いろんな問題があるんや。
これらの企業にあんまりにも多くの権力を与えすぎてるんや。今後12ヶ月か24ヶ月か36ヶ月くらいの間に、正しい先例を作らんと、出てきたものにずっと縛られることになるで。それはたぶん、何でもありってことになるやろな。
230条があるやん。あれのせいで、これらの企業はソーシャルメディア上の何にも責任を負わへんのや。たぶん良かれと思ってやったんやろうけど、世界は変わってしもうた。情報の運び屋と、ソーシャルメディアのフィードを優先順位付けして、対立を煽るほど儲かる企業との違いに、法律が追いついてへんのや。
法律が追いついてへんから、悪い法律になってるんや。同じ立場に陥ることになるで。今、社会として選択することが、今後10年、もしかしたら今後100年に影響するんや。この本は、みんなを目覚めさせるために書いたんや。
司会: ゲーリー先生、MLCにお越しいただき光栄です。楽しみにしていました。
ゲーリー: ありがとう。また呼んでもろてうれしいわ。
司会: 素晴らしいです。今朝、AGI会議で基調講演をされましたね。素晴らしかったです。家でご覧の皆さんは、すでに基調講演をご覧になっていると思います。最後の10分くらいは本当に面白かったですね。その講演全体について、あるいは...
ゲーリー: 講演はな...最後の最後まで何を話すか決めかねてたんや。まあ、何か借りてきて、何か新しいものを混ぜたみたいな感じやったな。
実はな、3年前にも同じ会議で基調講演したんや。10年に1回くらいしかせえへんのに、3年で2回もするなんて珍しいやろ。3年前に基調講演して、この3年間がすごく面白くて、でもすごくがっかりする3年間やったんや。
ほとんどの人は興奮してるけど、わしはちょっとがっかりしとるんや。なんでかを説明したかったんや。あの古い講演を見返して、ほとんど全部まだ正しいって思うてん。もうちょっと考えて、前回見逃したことに気づいたんや。
せやから講演は2つに分かれてた。1つは、巨額の投資と大きな興奮、大きな注目があったにもかかわらず、実際には変わってへんことについてや。もう1つは、前回見逃してたことについてや。これも面白かったんや。
最初の部分はな、数年前に行った講演の内容や。当時はまだ大規模言語モデルが本格的に出てくる前やったけど、みんなが興奮し始めとって、基盤モデルって呼び始めとった頃やったんや。
みんな興奮しとったから、わしとアーニー・デイビスで「基盤ってどうあるべきなんや」って言うたんや。基盤は、家や建物の基礎みたいに、しっかりしてて信頼できるもんやないとあかんのに、これらのモデルはそうやあらへんって。バカみたいなエラーばっかり出すし、信頼できへんのや。
数年前の講演ではそういう話をして、なんでこれが大事かも説明したんや。例えば、放射線科医に「もう訓練せんでええ」って言うてるようなもんやからな。こういうもんを過大評価すると、社会にとってコストがかかるんや。
その講演を全部書いてから見返してみたら、まだ全部当てはまるんや。例は変わったけどな。「Welcome Back Kotter」っちゅうドラマを知っとる人はおらんやろうけど、「名前は全部変わったけど、お前がぶらついとる間に、でも基本的に全部同じや」っちゅうセリフがあるんや。これは高校の話やけど。
名前は全部変わって、エラーの細かい部分も変わったけど、基本的にはまだ信頼できへんAIなんや。大規模言語モデルが出てきてから、一般的に見えるけど、そんなに賢くもないし、信頼もできへんもんができたんや。本当に頼れるもんやあらへん。
例えば、電卓と比べたらわかりやすいやろ。電卓なら3掛ける17って打ち込んだら51って出てきて、それで終わりや。でも大規模言語モデルやと、何が出てくるかわからへんのや。
2021年に前の講演したときもそうやったし、2024年の今もそうなんや。実は昨日講演を書いてたときに、また新しい例が出てきてな...これらのもんは本当に信頼できへんのや。面白いけど、前と同じ問題が出てくるんや。
講演の最初の部分、大部分はそういう話やった。スライドごとに「これはまだ当てはまる」「これは当てはまらへん」って見ていって、ほとんどが当てはまるんやった。面白おかしくするために、新しいとこはオレンジの文字にしたんやけど、そんなに新しいとこはなかったな。
それで、2021年に見逃してた部分やけど、ちょっとは気づいてたんやけど、はっきりとは分かってへんかったんや。他の人は分かっとったかもしれんけど。
2021年の批判で見逃してたのは...ごめん、もう一回言うわ。2021年の批判で見逃してたのは、社会やテック業界に何が起こるかってことやったんや。わしより冷笑的な人なら予想できたかもしれんけど、わしにはできへんかったんや。
わしはGoogleの時代に育ったんや。まあ、そう言うても...もう一回言うわ。わしがテック業界のこと考え始めたんはGoogleの時代やってん。Googleには監視資本主義の問題があったけど、「邪悪になるな」っちゅうのは本気で言うとったと思うんや。
でも今の企業は本当にどうでもええみたいや。たくさん金をつぎ込んで、チップも全部入れて、その金を取り戻さなあかんのや。それがいろんなことを引き起こしとる。誇大広告を生み出すし、著作権法の決定や人の搾取にも影響しとる。
講演の最後の部分は、わしが「シリコンバレーのモラルの衰退」って呼んでるものについてや。これは新しい本の章のタイトルにもなっとるんやけどな。急激な変化やと思うんや。本当に変わってもうたんや。
スティーブ・ジョブズが今の状況見たら喜ばへんと思うで。ジョブズはAppleをこんな会社にしようと思ってへんかったはずや。Appleはまだそうでもないかもしれんけど、他の多くの企業は...全部監視資本主義のことばっかりや。できるだけ金儲けすることばっかりや。
アーティストをぼったくるようなことを、ジョブズはせえへんかったと思うわ。ジョブズはアーティストのことを本当に大事にしとったと思うんや。別に誰もアーティストをぼったくりたいわけやあらへんけど、ある意味どうでもええって感じなんや。
強制されたら、ライセンス契約を結ぶやろうけど、本当はそんなんしたくないんや。ユニバーサル・ベーシック・インカムについて話すとる人らがおるけど、アーティストに1セントも払いたくないんや。法廷に強制されたら払うけど、本当は払いたくないんや。
作家にも払いたくないし...ほとんどの人が金儲けのことしか考えてへんで、社会のことなんか気にしてへん。それが影響を及ぼしとるんや。
講演の最後の部分は、それについてどうすればええんかって話やった。これらの企業に自主規制を任せられるんか? 無理やな。「シリコンバレーを飼いならす」っちゅう本は、政府も信用できへんっちゅう話もしとるんや。
政府はこれらの企業にずっとロビー活動されとるし、裏では莫大な金が動いとる。アメリカではほとんど何も起こってへんのや。たぶん知っとると思うけど、わしは1年前に上院で証言したんや。あれはわしの人生のハイライトの1つやったな。すごかったわ。
歴史的な瞬間やった。サム・オルトマンもおったし、上院議員もおった。人工知能の政策について初めての本格的な公聴会やったんや。前の晩に議事堂に向かって歩いとって、薄暮に浮かぶ議事堂を見たときは、本当に感動したわ。
そこにおるだけですごかったし、上院議員たちが皆、この瞬間の重要性を理解しとるみたいやったのもすごかったな。AIを適切に規制することがどれだけ大事か。強すぎず弱すぎず、ちょうどええ感じに。
みんな、ソーシャルメディアでひどい失敗をしたことを認めとった。上院議員たちもそう思っとった。すごく謙虚やったな。後から多くの人に言われたけど、上院議員たちは最高の態度で臨んでくれたんや。本当に理解しとるみたいやった。
わしはすごく興奮したんやけど、それ以来すごくがっかりしとるんや。あれから1年以上経っても、何も通ってへんからな。上院は真剣なAI規制について全然投票してへん。ちょっとはあるけど、大体何も起こってへんのや。
司会: シリコンバレーの「救世主神話」について話されていましたね。それが今起こっているんでしょうか? OpenAIやAnthropicは安全性についていろいろやっているように見えますが、それは単なる見せかけなんでしょうか?
ゲーリー: まあ、人の頭の中まで分からへんけど、見せかけの部分の方が多いと思うわ。OpenAIやAnthropicみたいな企業は、表向きはAI規制に賛成してるって言うとるけど、裏では提案された規制を弱めようとしとるんや。
みんなSB 1047を阻止しようとしたし、最後の最後でAnthropicがかなり弱めるのに一役買ったみたいやな。OpenAIのサム・オルトマンは、わしの隣で上院にAI規制が大事やって言うとったけど、裏では...
ビリー・ペリーゴがタイム誌で報道したんやけど、OpenAIのロビイストらがUI法を弱めようとしとって、たぶん成功したんやろな。せやから、表向きは支持しとるって言うてるけど、裏では全然違うんや。
司会: この技術に対する認識と実際の能力の間にはなぜこんなに差があるんでしょうか? インタビューの前にTwitterを見るんですが、先生が以前投稿された例を思い出しました。宇宙飛行士が馬に乗っている画像でしたね。でも、そうじゃなかったんですよね?
ゲーリー: そうそう、あれ見たときは本当にカッとなりそうになったわ。「馬が宇宙飛行士に乗る」っちゅうサブスタックの記事を書いたんや。これはたぶんチョムスキーが最初に言い出したんやけど、わしはピンカーから知ったんや。
「犬が人を噛む」と「人が犬を噛む」の古い例のパロディみたいなもんや。ジャーナリストがよく使う表現やな。犬が人を噛んでもニュースにはならへんけど、人が犬を噛んだらニュースになるってな。
DALL-E 2が出たときに、それをもじってみたんや。DALL-E 2が出たときは大騒ぎやったやろ。画像生成の中では初めてのすごいやつやったからな。出てから20分後か1時間後くらいに、サム・オルトマンが「AGIはすごいことになるで」ってツイートしたんや。
みんな「これがAGIの瞬間や」って思うたみたいやけど、わしが見たらそうやあらへんかったんや。AGIとは何の関係もない。グラフィックスはすごくええけど、これらのシステムは本当には言語を理解してへんのや。
アーニー・デイビスとスコット・アーロンソンと一緒に実験して、後でエヴェリーナ・レヴァダとエリオット・マーフィーとも実験したんやけど、これらのシステムは言語の構成性を本当には理解してへんことがわかったんや。
構成性っちゅうのは、言語が部分から成り立っとって、それらを大きな全体に組み立てて、構文を意味にマッピングしてるってことや。フレーゲが一番関連づけられとる概念やな。
哲学者はこれについて長い間考えてきたんや。形式意味論の人らも言語学でたくさん考えとる。DALL-Eで数分遊んでみたら、構成性を本当に理解してへんのがすぐわかったんや。
実は、計算言語学には「単語の袋モデル」っちゅう古い考え方があってな。これは文の中の単語を袋の中にぶち込んでグチャグチャにしたみたいなもんや。それでどれだけ説明できるかを見るんや。単語の袋モデルはほとんど対照群みたいなもんや。
あんまりええ対照群やあらへんけどな。単語の袋モデルよりええことができへんかったら、文の構造や意味と単語の部分の関係を本当には理解してへんってことや。
DALL-Eで遊んでみて、数分でそんな感じやってことがわかったんや。完全にそうってわけやあらへんけど、文の構成要素を本当に理解してるシステムよりは、そっちに近かったんや。
それでピンカーの古い例を思い出して、「馬が宇宙飛行士に乗る」っちゅうサブスタックの記事を書いたんや。「人が犬を噛む」の例をもじったんや。宇宙飛行士が馬に乗るのはよくあるけど、馬が宇宙飛行士に乗るのはあんまりないやろ?
「馬が宇宙飛行士に乗る」っちゅう記事で、DALL-Eがそれを描くのに苦労することを示したんや。「馬が宇宙飛行士に乗る」って言うても、よくある「宇宙飛行士が馬に乗る」を描いてしまうんや。
それから、このAIが好きな人らがよく言いそうな反論を全部書いてみたんや。バカみたいな...いや、バカって言うたらあかんな。システムが十分な常識を持っとって、これは不可能やって分かっとるからやとか言うんやろうけど。
実際に示したのは、適切にプロンプトを与えたら、本当にできるってことやったんや。宇宙飛行士の上に馬を描くのが無理なわけやあらへんし、システムが文字通り不可能やと思うとるわけでもない。ただ、その文の中の単語の関係と、何をすべきかを理解してへんだけなんや。
これがDALL-Eの唯一の仕事なのに、できてへんのや。Twitterのハッシュタグで「You had one job」(お前にはそれだけの仕事があったのに)っちゅうのがあるやろ。文の意味を理解して、その絵を描くのがDALL-Eの唯一の仕事やのに、こういうケースではできへんのや。
後で別の例も書いたんやけど、タイトル忘れたわ。NPRが取り上げたやつで、これらのシステムの1つが、黒人の医者と白人の患者の子供を描けへんかったんや。珍しいからな。
こういうのは、もっとデータで学習させたりして、時々は直されるかもしれん。その特定の例は直ったかもしれんな。でも今日、grokを使うてたんやけど、タクシーで会場に向かう途中で「あの例をもう一回試してみよか」って思うたんや。
他のもいろいろ試してみたけど、わしがよく出す課題は、grokはあんまりうまくできへんかったな。他のも話せるけど...「馬が宇宙飛行士に乗る」をやってみたら、間違えたんや。この話題については議論が多かったし、わしの記事も人気があって、いろんな人が批判してきたのに、最新のシステムやって言うとるのに、1回目で間違えるんやで。まあ、1回しか試してへんけどな。
「2022年に戻ったみたいやな」って思うたわ。この2年間、特にインフルエンサーらが毎日「見てみい、また新しいすごいもんが出てきたで」って言うとるのに。「指数関数的な豊かさの時代に生きとる」とかな。
でも、本当に大事なことについては、少なくともわしから見たら、認知科学者として知能を研究してきた立場から見たら、あんまり進歩してへんのや。
司会: でも、ゲーリー先生、これらのシステムは抽象的な世界モデルを学習していると思っていました。これが興味深いのは、偶然的不確実性と認識論的不確実性の違いがあるからです。何かを本当に理解して推論できることと、演繹的閉包を行って世界に関する新しい知識を導き出せることには違いがあるのではないでしょうか。
ゲーリー: そこには2、3の異なる点があるな。1つは、これは不確実性の問題かってことや。でも実際はそうやあらへん。
例えば「馬が宇宙飛行士に乗る」っちゅうのは、すごくはっきりしとるやろ。不確実性はないんや。馬は宇宙飛行士の上に乗ってなあかんのや。偶然的不確実性と認識論的不確実性については面白い話があるけど、ここには当てはまらへん。
これは完全に決定論的な表現で、ただ間違えとるだけなんや。まあ、これらのシステムの出力は確率的やから、システム自体は決定論的やあらへんけどな。同じプロンプトを10回入力したら、10個違う答えが出てくるかもしれん。そのうち6個が正しくて4個が間違うとるかもしれんし、逆かもしれんし、わからんわ。
そういう不確実性はあるけど、根本的には意味を世界の記述にマッピングせなあかんのに、できてへんのや。世界モデルについて聞いてきたけど、実際にはそんなんないんや。
Soraを見たら、それがもっとはっきりわかると思う。Soraは時間とともに変化するからな。世界モデルは部分的に世界のダイナミクスを理解することやからな。それが世界モデルが欲しい理由なんや。
人間には世界モデルがあるんや。わしらがおる部屋のモデルがあって、ライトがあるってわかっとる。完全に具体的やなくてもええ。ライトがどこにあるか全部知らんでもええ。更新もできる。
部屋に誰かがおって、その人が突然「火事や！」って言うたら、面白い会話をしとっても、すぐに違うことをするやろ。わしらは周りで起こっとること、あるいは多くのことのモデルを持っとるんや。人間は皆そうしとる。
映画を見るときも、登場人物のモデルを作るやろ。わしは「The Bear」っちゅうドラマを見とるんやけど、まだ追いついてへんのや。でも主人公のシェフと、彼と働いとる人、彼のガールフレンド(もうガールフレンドやないかもしれんけど)のモデルを持っとる。
全部見とって、物語が展開していくのを見て、フラッシュバックとかを順序立てようとしとる。素晴らしいエピソードを見たんやけど、ある人が最初に仕事を得た話やった。ネタバレしたくないんやけど...
レストランで働き始めたんやけど、最初の10分か15分くらいは「これ今の話なんかな、それとも過去の話なんかな」って考えとったんや。そのうち、これがフラッシュバックで、オリジンストーリーやってわかったんや。すごく美しくて、悲しくて、パワフルな話やった。
わしはそこに座って、この物語のこの部分が、他の部分とどう関係しとるんかをモデル化しようとしとったんや。これが今の話なんか、それとも過去の話なんか。最終的にフラッシュバックやってわかって、一種のオリジンストーリーやったんや。
本当に美しい話やった。悲しくてパワフルで...わしはそこに座って、この物語のこの部分が他の部分とどうつながるんか、頭の中でモデルを作ろうとしとったんや。この登場人物は前に見たことあるけど、今はもっとよくわかる。彼女のことをもっと知ったし、彼女のパートナーのこともわかってきた。関係性についてもわかってきて、これら全部のモデルを作っとるんや。
現在のシステムは、そんなことは全然やってへんのや。やっとるのは、今まで言われた単語と、たぶん他の情報のモデルを作って、次に何が起こるか予測しようとしとるだけや。
昔のインデックスカードを覚えとるか? メモを書いたりするやつや。あるいはデータベースみたいな、お前の電話番号とか住所とかを記録するやつや。そんなんは全然持ってへんのや。
人々はそれを理解してへんし、これらのシステムが現実性チェックをしてへんことも理解してへんのや。百科事典やWikipediaで調べたりもせえへん。精神モデル、世界モデル、認知モデルみたいなもんを持ってへんのや。
「馬が宇宙飛行士に乗る」を試すとき、馬が普通何をするか、宇宙飛行士が何をするかっちゅう世界モデルを持ってへんのや。たくさんの画像を持っとって、それらが空間的にクラスター化されとる。そのクラスターに行って、一番近いクラスターを探すんや。
ちょっと単純化しすぎかもしれんけど、前にこの単語の周りにあったクラスターに行くんや。理解とは全然違うんや。
Soraの話に戻ると、これはもっとええ例やと思うんやけど...Soraでは、よく変なことが起こるんや。例えば、人々が何かを運んでいて、1人が別の人の後ろに行って、カメラが動いたら、その人が突然消えてしまうんや。
世界モデルを持っとったら、誰がそこにおるかわかるはずや。犬が4匹おって、カメラのアングルが変わったら急に3匹になって、また変わったら5匹になるっちゅうのもあったな。
人間やったら変やって思うやろ。状況によっては見逃すかもしれんけど、基本的にはSoraには対象の永続性っちゅう概念がないんや。これは、リズ・スペルクとレネ・バイヤンの認知発達の研究に基づいて、わしらが生まれつき持っとると思うとる基本的なものの1つなんや。
昔のピアジェの研究では、8ヶ月くらいで対象の永続性を学ぶって言うとったけど、もっと感度の高い測定方法を使った、もっとええ実験でそれは否定されてしもうたんや。わしが一番思うのは、これは生まれつきのものやってことや。
でもSoraは永久に学ばへんのや。他にもたくさんのことを学ばへん。チェス盤が8x8やってことも学ばへん。たくさんのチェス盤を見とるのに、7x7のチェス盤を描くかもしれへん。決まりがあるってことを理解してへんのや。
Soraで描いた蟻に4本足があったっちゅう例があってな。ヤン・ルカンとわしが1時間違いで投稿したんやけど。神のみぞ知る数の蟻を見とるのに、まだ蟻に何本足があるか理解してへんのや。
普通の人の世界モデルなら持っとるはずのことが、たくさんあるんや。でもこれらのシステムは持ってへんのや。時間の経過とともに変化する中で、本当によく分かるんや。不可能なことがたくさん起こるんやけど、それは世界の統計じゃなくて、ピクセルの統計としてしか意味をなさへんのや。
このフレームから次のフレームへの、ピクセルの対ごとの変化は意味があるかもしれん。例えば、何かの後ろに何もないかもしれんし...でも画像が何を表しとるかを理解せえへんのや。
別の例やと、建物の中に入っていくビデオがあってな。最初見たときは驚くほどすごいんや。博物館みたいなもんやけど、2回目に見ると、外側と内側が全然合ってへんことに気づくんや。
ピクセルごとに見たら、そのパンショットの中の全てが意味を成すんやけど、全体を見ると...1分くらいの映像やけど、その1分の間に、全然意味をなさへんような巨大な不連続性がたくさんあるんや。
フレームごとに見たら、このフレームからあのフレームに行けるかもしれん。でも1フレーム目から100フレーム目まで見たら、全然意味をなさへんのや。それは安定した世界モデルがないからや。建物の寸法がどうなってるかっちゅう安定したモデルがないんや。
結局...忘れたけど、たぶん外観の撮影では小さく見えて、博物館の内部が巨大に見えるとか。空っぽの中庭があるのに、次は空っぽやないとか。そういう矛盾がたくさんあるんや。
司会: そうですね。認識論的リスクについて話そうとしていたんです。世界モデルがあって、世界についての事実があって、それを検証できるからです。時には二項対立的になることもあります。宇宙飛行士が馬の上にいるか、馬が宇宙飛行士の上にいるかを、ある状況では言えますよね。
境界線があいまいな部分もあるかもしれませんが、基本的には二項対立です。でも、なぜ人間はこれらのモデルを擬人化してしまうのか興味深いですね。ある意味、人間の知覚に対する敵対的攻撃のようなものです。
古典的なチューリングテストを考えてみましょう。結局のところ、それは人間の騙されやすさを測るものだったんですよね。チューリングテストに合格することは、必ずしも知的であることを意味しません。人間を騙せるということを意味するだけです。人間は非常に簡単に騙されるんです。
これの最も危険なバージョンは、自動運転車の数分間の様子を見て、基本的に人間と同じように運転していると結論付けてしまうことです。全てが大丈夫だと思ってしまうんです。実際には、その自動運転車には多くの深刻な問題があるかもしれへんのに。いろんな状況で問題が出るかもしれへんのに。
同じように、数分間人間らしく見えるものが、実際には人間とは全然違うかもしれへんのや。大規模言語モデルでも同じことが起こってる。表面的には人間らしい出力を生み出すから、時々エラーを起こしても許してしまう人がおるんや。全員がそうやないけどな。
でも実際には、これらのシステムにはない形の知能を持ってると思い込んでしまうんや。「これは自分と同じや。こういう状況やったら自分もこうするやろ」って思うんやけど、実際はそうやあらへん。
TEDトークで使った例を1つ挙げると、メタのシステムで撤回されたGalacticaってあったやろ。ヤン・ルカンはまだ怒っとるみたいやけどな。Galacticaがイーロン・マスクが交通事故で死んだって言うたんや。
確か「2018年3月、イーロン・マスクは致命的な自動車事故に巻き込まれた」みたいな文やった。それから続きを読むと、マスクが実際に死んだと思ってるのがわかるんや。
普通の人やったら「ちょっと待てよ」って思うはずや。2018年...今生きてる証拠がある人がおるとしたら、それはイーロン・マスクやろ。毎日Xに投稿してるし、毎日ニュースに出とるやないか。イーロン・マスクが生きてる証拠は、地球上の誰よりも多いんや。
これは明らかに間違った仮定や。Wikipediaを見てもわかるし。わしが新聞社の編集者で、誰かが「イーロン・マスクが2018年に交通事故で死んだ」って記事を持ってきたら、たぶんクビにするわ。
「2018年? そんなわけないやろ」って言うわ。全然合ってへん。今日死んだって言うても「ほかのソースはあるんか? 確認取れるまで掲載せえへんぞ」って言うわ。
お前や、わしや、新聞社の編集者やったら、特に一見してありえへんことは、事実確認するやろ。でもLLMsはそんなことせえへんのや。普通の人にはそれがわかりにくいんや。
少量のデータだけ見て、進化の過程で我々の脳が発達した環境では、人のふりをするチャットボットの問題はなかったからな。他の問題はあったけど。「あのライオンに食われへんかな」とかな。
動きを見て、それが近づいてきてるのか、どれくらい大きいのかとか、そういう判断は得意や。世界についていろんな判断をするけど、AIについての判断は、大学で認知科学の授業を取ってない限り、あんまり得意やあらへん。
大半の人は取ってへんやろ。だから、ほんの少しのサンプルを見て、大げさに一般化してしまうんや。数文言うただけで、1文字ずつ出力するのを見て、OpenAIのあのアイデアは天才的やったな。人間らしく見えるっちゅう幻想を与えるんや。
実際は全然人間らしくないんや。統計的な...自動補完をステロイド打ったみたいなもんで、人間らしく見えるように大量のデータで訓練されとるだけや。人間みたいに推論なんかしてへんのや。
司会: そうですね。他にも2つのことがありますね。まず、人々はAIが知的であると信じたがる傾向があります。特にNeurIPS論文を発表するときなんかは。先日、Subbarowが私に言っていたのは、LLMがやったと思わせたいから、NeurIPS論文が出せるんだと。
でも、Googleのニコラス・カルリーニのブログ記事を読んだんです。彼は以前、LLMはただのデータベースだと考えていたそうです。でも、GPT-4とチェスをプレイし始めて、その動きの洗練さに驚いたそうです。正しい手を打つことが多かったと。
でも、彼は面白いことを言っていました。下手な人のように将棋を指すと、AIも下手な動きを反映するそうです。生成的なコードでも同じで、洗練された書き方をすると、より良いコードを返してくるんです。ある種のロールプレイを採用しているかのようです。
ゲーリー: まあ、模倣者みたいなもんやな。ちょっと横道にそれるけど、チェスの話やけど...GPT-4は実はあんまりチェスが上手くないんや。違法な手をたくさん打つんや。
すごくええ分析があってな...リンク後で送るわ。名前忘れたけど、GPT-4のチェスプレイについてめっちゃ詳しく分析しとる人がおるんや。1600くらいのレベルやって。高校のチェス部で平均より上手いくらいやけど、世界レベルからはほど遠いな。
違法な手を6%くらい打つんや。すごい数やで。1979年に買ったチェスコンピューターと比べてみい。小さな穴に駒を刺すタイプのやつや。たぶんSargonってソフトウェアが使われとったと思うけど、あれは絶対に違法な手を打たへんかったんや。
チェスソフトの話をすると、1969年くらいからずっと違法な手は打たへんかったんや。GPT-4はチェスの最先端やあらへん。そこは理解しとかなあかんな。でも人々はそれを理解してへん。
なんでもできることに驚いてしまうんや。まあ、なんでもできることに驚くのはわかるけど、ちゃんとしたチェスプログラムみたいに探索木を探索してるわけやあらへんってことを理解せなあかんのや。模倣をしとるだけなんや。
質問の他の部分に戻ると...この奇妙な模倣効果が出るのは、人間がプライミングするときにやることと似たようなことをしとるからや。コーパスの特定の部分に誘導しとるんや。
より洗練された言葉や、あまり洗練されてない言葉に誘導できるんや。そういう効果が出る理由やな。カルリーニが書いたことが系統的な研究で証明されるかどうかは知らんけど、もしそうやったら、これが理由やと思うわ。
下手なチェスゲームのデータベースは、上手なチェスゲームのデータベースとは違うからな。
司会: 確かに奇妀ですね。長い尻尾をどんどん記憶していくにつれて、信頼性が少し下がっていくような。5%とか4%くらいで。多くの人は、それでも大丈夫だと言います。エンジニアリングで解決できると。問題によって違うと思いますか?
ゲーリー: まず最初に言うとくけど、大規模言語モデルは電卓とは違うんや。電卓は100%正しい答えを出すけど、大規模言語モデルはほとんどの分野で100%正しい答えは出せへん。
いくつかの分野では全く歯が立たへんのや。例えば、浮動小数点の計算やと、95%も正解率ないやろ。特に大きな数字やと、もっと悪くなるやろな。正確な研究はないかもしれんけど。
AIの全ての形態で重要やと思うけど、特に大規模言語モデルで重要なのは、エラーのコストや。大規模言語モデルが一番適してるのは、ブレインストーミングやオートコンプリートみたいなもんやと思うわ。
コーディングはある種のオートコンプリートや。プログラマーがまだ主導権を握っとる。システムが全部のコードを書いてるわけやあらへん。小さな部分を書いて、それを入れ込んでるだけや。
プログラマーは一生、バグのあるコードをデバッグすることを学んできたんや。プログラマーのタイピングがあんまり上手くないからっていうのもあるし、プログラマーが忘れ物をするからっていうのもある。
わしもコーディングをたくさんしてきたから、どういうもんかわかる。デバッグの仕方がわからんかったら、プログラマーにはなれへん。そういう職業やあらへんのや。
だから、これらのツールを使う人は、ある程度のエラーは許容できるんや。タイプするのにどれくらい時間がかかるか、調べるのにどれくらい時間がかかるかと、デバッグするのにどれくらい時間がかかるかを比較しとるんや。
最初は興奮してた人も、今はそれほど興奮してへん人もおるな。コードが動くかどうかテストをたくさんして、全部パスしたのに、3日後にはなんでこのコードがあるのか忘れてしもうて、デバッグに24時間かかってしまうことがあるからな。
そうなると「このトレードオフ、本当に価値あるんかな」って思うんや。まだオープンな質問はあるな。セキュリティの問題とかもあるし。学術文献では問題があるって示唆する研究もあるけど、少なくとも原則的には、プログラマーが出力を選んで、修正してるんや。
エラーが多くても、まだ価値があるかもしれへん。ブレインストーミングみたいな分野でも同じことが言えるな。CMの案を考えるのに30個のアイデアをくれて、29個は使えへんけど1個は気に入ったら、それでもええやろ。
90%のエラー率でも、まだ満足できるかもしれへん。でも、エラーが人の命に関わるような分野もあるんや。医療分野とかな。システムが子供を大人として扱って間違った答えを出すようなことがあったら...小児科のデータが十分にないからな。
エラーがあると子供が死んだり入院したりするかもしれへん。そういう分野ではもっと正確でなきゃいけへん。だから、何パーセントのエラーが問題になるかは、一概には言えへんのや。
電卓として使いたいんやったら、たぶん何も間違えたらあかんな。電卓を使った方がええやろ。何に使うかによって違うんや。
司会: コーディングは面白い例ですね。検証のステップがあります。コードがコンパイルされるかどうか。そして動作です。意図したように動くかどうか。
ゲーリー: そこで止めるわ。それが唯一の検証ステップやと思ってる人がいちばん悪いコード書くんや。お前はそう思ってへんやろうけど、一部の人はそう思っとるんや。
プログラマーやない人のために説明すると、CとかC++みたいな言語では、コードを書いて、コンパイルしてマシン語に変換するんや。でもそれでバグがないってことにはならへん。
でも初心者のプログラマーは、コンパイルできたら大丈夫やって思うかもしれへん。洗練されたプログラマーは、そんなことないってわかっとる。コンパイルはできるけど、何か間違った仮定があって、バグが出るかもしれへんってな。
ある程度のバグのあるコードがコードベースに入り込んでるのは、コンパイルが唯一の検証ステップやと思ってる人がおるからや。
優秀なプログラマーが知っとる別の検証ステップは、ユニットテストとか他のテストやな。コンパイルできたら、そこからが本番やと。このコードが本当にやりたいことをやってるか確認せなあかんのや。
優秀なプログラマーはプログラミングのロジックを理解してて、どんなテストが適切かわかっとる。ユーザーがどんな変なインプットをするかも想像できる。そういうインプットにも対応できるかテストしたいんや。
自分の仮定がどんな状況で試されるかを理解して、それをテストするんや。ダメなプログラマーはそれをせえへん。ちょっとテストして、それでおしまいや。これでええやろって。
次に進んで、3週間後にその仮定のどれかが崩れたら、全部崩壊するんや。
司会: その通りですね。Gen AIコーディングでは、Claude 3.5 Sonnetをよく使っているんです。最初の発見は、30分で2000行くらいのコードを生成できて、時々それがかなりうまく動くってことやな。
でも、2000行くらいで複雑さの限界に達するのに気づいたんや。そこから先は妄想し始めて、おかしなことをし出す。
でも擬人化の話に戻ると、これは面白いところやな。人間が考えたプロンプトを使って、人間が頭の中でモデルを作って、補完を選んで、対話的に実行してるわけやろ。
言語モデルを使うとき、人間は創造性や推論が自分からじゃなくて、モデルから来てると思いたがらへんのが面白いな。
ゲーリー: うーん、人々が何を考えたがるかはよくわからんな。個々のユーザーがシステムと一緒に作ったものについて、どう感じてるかっちゅう質問やと思うんやけど...
司会: そうですね。言語モデルがデータベースだと仮定すると、ユーザーが創造的にプロンプトを考えるわけです。多くの推論は実際にはプロンプトに暗黙的に含まれているんです。
そして言語モデルはたくさんのアイデアを取り出して、ユーザーがそのアイデアの1つを選んで、コンパイラーで実行して、検証する...これは非常に統合された監督プロセスなんです。
それなのに、人々は魔法のLMが全てやっていると考えるんです。
ゲーリー: まあ、そう思う人もおるかもしれんな...どう言うたらええかな。時々オズの魔法使いの問題みたいなもんがあって、カーテンの後ろの人間が実際には多くの仕事をしとるんやけど、気づかれへんのや。
Twitterでそういうスレッドをよく見るやろ。「機械は間違えてへん。このプロンプトを使えばうまくいくんや」って。めっちゃ複雑なプロンプトを使って、機械が正解を出すんや。
でも実際に仕事をしとるのは誰や? プロンプトを考えとる人間やろ。もっと複雑なのは、機械が間違えたことに気づいとるってことや。これは重要な知能の一部で、機械が実際には失敗しとるんや。
単純なプロンプトじゃうまくいかんことに気づいて、どんなプロンプトならうまくいくか創造的に考えとる。全部人間がやっとるんや。それなのに「ほら、機械はすごいやろ」って言うんや。
実際には、機械は人間がほとんど手取り足取り教えんとうまくいかへんのに。
司会: その通りですね。もう1つ気づいたのは、LLMと対話していると、その個性がわかってくるんです。Claude Sonnetなら、2文くらいで妄想し始めてるのがわかります。理解してないのがわかるんです。自信満々にデタラメなコードを生成し始めるんです。
そういう状況でどうしますか? 1つの方法は、新しいセッションを作って、それまでの決定の文脈を全て失わせることです。ある意味ではより基礎に戻るんですが、別の意味では基礎から離れるんです。
そして、生成したコードを全部友人にレビューしてもらうんですが、彼らは私が作ったものを全然理解できないんです。理解のためのクレジットカードを使い果たしてしまうんです。
面白いアイデアの1つは、LMへの以前のプロンプトの全てのログを取ることです。そうすれば、LMが全ての仮定や要件を理解できる巨大なセッションになります。でも、それも一定の長さを超えると崩壊してしまうんです。
ゲーリー: 結局のところ、これらのシステムからコーディングの助けを得られる限界があるんやと思うわ。それは、顧客（プログラマーかもしれんけど）が実際にシステムに何を望んでるのか、認知的要件や物理的要件を理解するええ理論がないからや。
それを伝えるチャンネルがあんまりええもんやあらへんのや。だから、これらのシステムは非常に狭い要求には適してるんや。「これをHTMLでどう表現したらええんや」とか「このAPIはどうなってるんや」とか、何かを調べるみたいな感じやな。
でも、誰かが初めてワードプロセッサーを作るときみたいな...システム全体をどう構造化するか考えなあかんかったんや。誰かが作業してるドキュメントをどう表現するか、どうインターフェースを設定するか...
最初のやつでどうやったか覚えてへんけど、本当に欲しいのはいわゆるモデル・ビュー・コントローラーの分離やな。キーボードの操作を受け取ったときに、やっとることのロジックとは別に表示できるようにせなあかんのや。
せやから、この抽象的な問題をどう構造化すべきかっちゅう知的なプロセスがあるんや。現実世界のコーディングはそれが混ざっとるんや。低レベルの人には、バカげた...いや、バカげたっちゅうのはよくないな。決まりきったことを調べさせるんや。
トップレベルのシステムエンジニアには、このシステムをどう作るかを最初から考えてもらいたいんや。大規模言語モデルは、わしが理解する限り、そういうことは特に得意やあらへんのや。
大規模言語モデルが人気出始めた頃、2023年のChatGPTが人気出た直後やけど、たぶんサム・オルトマンやったと思うけど、「1人の従業員とたくさんのLLMsで10億ドルの事業を最初に作るのは誰や」みたいなこと言うとったんや。
でも、わしが知る限り、そんなもん見たことないんや。その理由の1つは、例えばシステムの作り方を考えるのは、これらのものができる範囲をはるかに超えとるからや。
役に立つアシスタントにはなれるかもしれへん。エリック・ブリニョルフソンらが言うとる「人間を強化するAI」みたいなもんやな。わしもそれには賛成や。AIを使って人間の能力を強化しようとするのはええことやと思う。
でも、本当に自律的に、例えば事業の帳簿をつけたり、マーケティングキャンペーンを実行したり、人間の監督なしで全部やるっちゅう話やったら、これらのシステムは全然信頼性が足りへんのや。
だから、わしが知る限り、誰も1人で10億ドルの事業を作れてへんのや。
司会: みんな今エージェントの話をしていますよね。先生はまさにその点を指摘されました。ロドニー・ブルックスも似たようなことを言っていましたね。我々は監督のプロセスで、失敗モードの長い尻尾を滑らかにする量を過小評価しているって。
ゲーリー: そうや。それはある分野では大丈夫やけど、自動運転車の分野では通用せえへんのや。自動運転車...未だにWaymoが裏でどれだけ人間を使って物事を整理しとるかわからへんのや。
Cruiseの数字が出たときは、本当に驚いたわ。たしか1500人くらいの人間が裏でテレオペレーションセンターで働いとって、800台くらいの車が道路を走っとったんやないかな。正確な数字は覚えてへんけど、車の台数より多くのテレオペレーターがおったんや。
顧客からも、科学的な分析をしようとする人からも隠された、大量の調整が行われとったんや。そういう分野はたくさんあって、オズの魔法使いみたいに、カーテンの後ろの人間が実際には多くの仕事をしとるんや。
司会: では、政策の話や、本で書かれていたことについて少し話しましょう。Fei-Fei Liとカリフォルニアの規制についてのブログ記事から始めましょうか。
ゲーリー: その状況はまだ展開中やけど、一般的に言うと、SB 1047についてはたくさんの誤情報や不正確な情報があったんや。
SB 1047が変更なしで通過したら大変なことになるっちゅう、なんか破滅的な見方をしてる人が多かったんや。それ以来、すでに少し弱められてしもうたけどな。人々が警告しとったことは実際には法律にならへんのや。
いずれにしても...これは昨日起こったばっかりやから、まだ完全に消化できてへんのや。これからどれくらい修正されるかもわからへん。だからあんまり細かいことは言いたくないんやけど。
一般的なレベルで言うと、AIに関する規制を全くできへんし、やったらAIを殺すことになるっちゅう、わしから見たらクレイジーな考え方があるんや。他の分野ではそんなことないのにな。
実際、多くの分野で規制があることが、その産業の発展に不可欠やったんや。航空業界がええ例やな。1940年代か50年代、商業航空はかなり危険なもんやったんや。
今や商業航空は信じられんくらい安全や。自分で車を運転するよりずっと安全やし、バイクなんかと比べ物にならへんくらい安全や。なんでそんなに安全になったかっちゅうと、何重もの監視があるからや。
航空機の作り方、整備の仕方、事故調査の仕方なんかに、いろんなルールがあるんや。それで航空業界がつぶれたりはしてへんやろ。
どの産業にもバカげた規制はあるかもしれへん。特に最初はな。誰も最初からパーフェクトな規制ができるなんて言うてへんのや。わしはUI法の支持者やけど、完璧やなんて思うほど甘くはないわ。
きっと問題点が見つかるやろ。でも、規制のある産業じゃイノベーションができへんっちゅう考え方は、明らかにおかしいんや。オーバートン・ウィンドウって知ってるか? 人々はクレイジーなことを言って、議論の枠組みを変えようとしとるんや。
でも、もちろんAIにもある程度の規制はできるはずや。クレイジーなのは、「これは非常に厳しい」って言うてる人らや。細かいところを見てみると、1億ドルの学習を実行してへん限り、この法律ではほとんど何もせんでええんや。
みんな大騒ぎしとったけど、1億ドルの学習を払える人なら、100万ドルのコンプライアンス費用も払えるやろ。1000億ドルとか800億ドルとかの評価を受けとる企業の話をしとるんやで。
書類を書かなあかんからって嘆いてるのを見て、わしらが悲しむ必要があるんか? でも、反対側の意見も見てみようや。これらのものはすでに害を及ぼしとるやろ。
ディープフェイクポルノのこと考えてみい。これらの選挙で飛び交ってる誤情報のことも考えてみい。破滅的な害が起こらんように、合理的な対策を取るべきやって言うのは、そんなにクレイジーなことか?
この法案について、もう1つ言うとくと、基本的に破滅的な害に限定されとるんや。これは比喩やあらへんで。文字通り、最初の5億ドルの被害は無料や。
少なくとも5億ドルの被害を与えて、過失があって、知っとくべきやったのに何もせえへんかった場合だけの話や。そんなに不合理なことか?
10億ドルの被害、あるいはそれに相当する人命を失わせても、なにもかも免除されるべきやって言うんか? 他の産業ではそんなことせえへんで。
電動ノコギリを作るなら、普通のバカでも指を切らんようにガジェットをつけるやろ。それは不合理なことやあらへん。「ああ、電動ノコギリ業界は終わりや。もう誰も電動工具を使えへん。ホームデポは閉店や」なんて言わへんやろ。
でもAIの世界では、そんな感じなんや。「AIのホームデポが閉店や。もう二度と新しい道具は発明できへん」みたいな。ばかげとるで。
司会: 本の中で、タバコの例を挙げられていましたね。タバコメーカーの話ですが。
ゲーリー: そうや、はっきりさせとかなあかんな。タバコメーカーは何年もの間、害がある可能性を否定し続けたんや。「ここの科学はまだ十分やあらへん。もっと待つべきや」って言うとったんや。
タバコメーカーは基本的に、人間をランダムにタバコを吸うグループと吸わへんグループに分けて因果関係の研究をせえへん限り、これは科学やあらへんって言うとったんや。そういう実験をせえへんかぎり、わしらには責任がないって。
そんなことを長い間続けとったんや。実際の科学者やったら、動物実験とか観察研究とかで、かなり確実にタバコが肺がんの原因やって推測できるってわかるんやけどな。
でも奴らは平気で何年もそんなこと言い続けて、たくさんの人が死んでしもうたんや。
司会: テクノロジーの世界に話を戻すと...ソーシャルメディアの話をされましたが、Uberなんかの例もありますよね。テクノロジーの面白いところは、ルールを無視する方法があるってことです。ルールがあなたには適用されないと。
AIが面白いのは、OpenAIが英国の貴族院で主張したように、著作権を無視する必要があるって言うんです。AIは魔法のようなもので、これらすべてのことに使われるからって。本の中で言及されていた話を詳しく聞かせてください。
ゲーリー: 彼らが言うたことと言わんかったこと、両方が興味深いんやな。言うたことの一部はたぶん本当やろうな。著作権のある素材を使わんと、わしらのものは動かへんって。
でも、そこから暗に示したのは、全てのデータが必要やってことや。まあ、今でもそんなにうまく動いてへんけど、一応動いとるのは、全ての著作権のある素材で学習しとるからや。著作権のある素材を取り除いたら、パフォーマンスは落ちるやろな。
そこまでは同意できるわ。貴族院でもそう言うとったんや。でも、そこから暗に示したのは「だから例外が必要なんや。これ全部タダでくれ」っちゅうことやったんや。
アーティストや作家、クリエイターにとってもっと公平な、よく知られた代替案があるんや。それは、ライセンスを取ることや。
Netflixはお前の映画を勝手に無料で見せたりせえへんやろ。お前に相談もせんし、金も払わへん、なんてことはせえへん。映画を見せるんやったら、ライセンスを取るんや。
Apple iTunesの音楽も同じや。実は、これの多くはNapsterの時代を思い出させるんや。Napsterは全ての曲を無料でダウンロードできるからすごいって言う人がおったんや。
一方で、アーティストらは「ちょっと待て、著作権法があるやろ」って言うとった。同時に「情報は自由でなきゃいけない。新しい時代や」って言う人もおったんや。
裁判所は「いや、著作権法には理由があるんや。なくなりはせえへん」って言うた。それでNapsterは潰れてしもうたんや。
誰が代わりに出てきたか知ってるか? Appleや。Appleはライセンス料を払う気があったからな。それでAppleは音楽のライセンスで大金を稼いだんや。でもアーティストもちゃんと取り分をもらえたんや。
わしが望むほど多くはないかもしれんけど、それでもちゃんとした取り分があったんや。完全な泥棒から、少なくともそこそこ公平なライセンス契約に変わったんや。
ここでも同じことができるんや。でも面白いのは、OpenAIが貴族院で「これをタダでくれなあかん」って言うとる裏で、あっちこっちでライセンス契約を結んどるんや。みんなと話をしとる。
だから、実際にはそういう方向に行く可能性があるってわかっとるんや。彼らは大きな贈り物をもらおうとしとったんや。わしにアメリカ西海岸をくれって言うて、「仕事に必要なんや」って言うみたいなもんや。
でも「それの対価を払えへんのか」って言うのを忘れとるんや。
司会: ソーシャルメディアはテクノロジー分野の面白い例ですね。マーク・ザッカーバーグの「早く動いて何かを壊す」っていうフレーズがありましたよね。何が悪いことになるんでしょうか?
ゲーリー: 実はそのフレーズで本を始めとるんや。AIで多くのことが間違う可能性があるんや。ソーシャルメディアでもすでに多くのことが間違うてしもうたやろ。
例えば、10代の女の子たちにとってすごく悪影響があったし、多くの人が中毒になってしもうたんや。ジャロン・ラニアーが「Twitter Poisoning」(Twitterの毒)っちゅう素晴らしい記事を書いとって、イーロン・マスクを例に挙げとるんや。
記憶を頼りに話すから、ちょっと違うかもしれんけど、こんな感じやった。「わしはイーロン・マスクを長年知っとるけど、2016年に彼に『お前は毎日何時間もTwitterに費やして、それが車の事業にも悪影響を与えるし、ロケット事業にも少し影響するかもしれん。人々はお前のことを本当に嫌いになる。でもお前は毎日何時間もそれをせずにはおられへんようになる』って言うたら、マスクはわしのことを見て『お前、頭おかしいんか。そんなことするわけないやろ。仕事があるんやで』って言うたやろうな」
でも、彼は中毒になってしもうたんや。Twitterは中毒性があるんや。わしも言うてるけど、わし自身もTwitter中毒やし、やめたいと思っとるんや。
多くの人の時間と感情を奪うてしまうんや。価値もあるから、わしはまだやめてへんけどな。ソーシャルメディアは中毒性があって、たぶん孤独感を増やしてしもうた。政治的な分断も確実に広げてしもうた。
AIはそれをもっとひどくする可能性があるんや。人々をもっと孤独にするかもしれん。例えば、これらのチャットボットの結果として、多くの人がチャットボットと恋に落ちるっちゅうことが起こり始めとるんや。
もうすでに始まっとるんや。年齢にもよるけど、社会的なスキルを失うか、発達せえへんようになるかもしれん。チャットボットと過ごす時間が増えるからな。
昔、テレビをたくさん見る人は、あんまり見ない人より幸せじゃないっちゅう研究があってな。部分的には機会費用の問題やな。1日5時間テレビを見とったら、その5時間は楽しんでるやろ。好きな番組を選んで見とるんやから。
でも1日の終わりに、新しいスキルを学んでへんし、よりええ仕事も得てへんし、新しい友達もできてへんのや。ソーシャルメディアもそんな感じや。
AIはそれをもっとひどくするやろな。分断の話でいうと、分断の多くは誤情報や、ターゲットを絞った誤情報から来とるんや。AIはそれを全部加速させるやろな。
今でも信じられへんくらい分断された社会になってるけど、ディープフェイクや他の種類の誤情報、意図的に設計された偽情報のせいで、もっと分断が進むかもしれへんのや。
AIで早く動くと、多くのものを壊す可能性が高いんや。
司会: 先生は「自動化された偽情報が民主主義の残りを破壊するかもしれない」とおっしゃいましたね。少し大げさに聞こえましたが、それがどのように展開すると考えていますか?
ゲーリー: 大げさやあらへんで。わしは本気でそのことを心配しとるんや。選挙は民主主義の究極の行為やろ。特に代議制民主主義ではな。
個々の問題に投票することはあらへんし、国民投票みたいなこともあるけど、基本的に代議制民主主義に住んどるわけや。偽情報がそれを壊す可能性があるんや。
今年の10月に、候補者の1人についてのディープフェイクが実際に選挙結果を変えてしまうかもしれへん。それが民主主義を本当に壊すことになるんや。
世界中でそれがもっと増えていくやろうし、それに並行して...ロシアの計画の一部は昔から「プロパガンダの消火ホース」みたいなものやったんや。
消火ホースモデルの考え方は、1つの嘘を押し付けるんやなくて、たくさんの嘘を押し付けて、誰も何を信じたらええかわからんようにすることや。それが今起こっとるんや。
アダム・カーティスの映画で、なんやったっけ...ハイパーノーマライゼーションやったかな。その特定の映画は知らへんけど、これはよく知られたことや。たぶんロシアのプロパガンダの消火ホースモデルって呼ばれとると思う。プーチンが長年気にしてきたことやな。
わしらは、プーチンが昔から目指してた最終目標に向かっとるんや。誰も何も信じへんようになる。写真の話でいうと、もう終わってしもうたんや。
100年間くらい、何かの写真があれば、それは本当やってことの重大な証拠やった。みんなそれを知っとった。でもここ数ヶ月で、みんなそうやないってわかってしもうたんや。
でも、人々は何を信じたらええかわからんくなってしもうたんや。権威主義者はそれが好きなんや。勝手なことをして「あっちのは信じるな。信じるな」って言うだけや。
例えば、プーチンがウクライナ戦争について平気で嘘をつくのを見てみい。基本的に何も信用できへん環境に向かっとると思うんや。そうなったら本当にまずいんや。
これに対する反応の1つは「もちろん偽情報について教育せなあかん。そうすれば人々はもっと懐疑的になるやろ」ってことやな。それは正しいんやけど、極端に行きすぎると良くないんや。
極端に行って誰も何も信じへんようになったら、民主主義は機能せえへんのや。民主主義の通貨は情報と、情報に基づいた決定や。情報がなくて、情報に基づいた決定ができへんかったら、何に投票しとるかもわからへんし、そうなったら民主主義は死んでしまうんや。
司会: 皮肉なことに、現実に根ざした知識がなくなると、我々はChatGPTみたいになってしまうんですね。何も検証できなくなるから。でも、2つの道があり得ますよね。
デネットは黙認する傾向になると主張しました。もう1つの主張は、懐疑主義と合理的思考の傾向になるというものです。先生はどちらになると思いますか?
ゲーリー: たぶん両方あるやろな。まだわからへんけど、わしが思うに、多くの人は敗北主義になって、ただ諦めてしまうんやないかな。何も信じへんようになるけど、頑張ることも諦めてしまう。
そうならんことを願うとるけど...わしのAIに関する予測はほとんど全部当たってきたと思うんやけど、この政治的な予測は間違うてたらええなと思うとるんや。
人々が絶望して、もう真実なんてどうでもええって思うようになる兆候を、毎日Twitterで見とるんや。
司会: 多くの人が先生のことを悪く言っていますよね。でも実際、DeepMindは「知能を解明し、それを使って他の全てを解決する」というモットーを掲げていました。
先生も本の中で、AIには医療を革命的に変える可能性があり、わしらの生活に豊かさをもたらす可能性があるって認めとったやないですか。それで、ここでの狙いは何なんでしょうか? 何をしようとしているんですか?
ゲーリー: まず第一に、わしらは生成AIを乗り越える必要があるんや。第二に、もっとええ規制が必要や。この2つには重なる部分もあるな。
技術的な面から言うと、生成AIは特定のことには向いとるかもしれんけど、AIをやる良い方法やあらへんのや。ブレインストーミングとか、ちゃんとライセンスを取って画像を作るのには良いかもしれん。
でも電力網を運用するのには向いてへんし、医療分野はまだわからんな。信頼できる枠組みやあらへんのや。これを人々に理解してもらうのがすごく難しかったんや。
有名な物理学者が「ChatGPTと会話したけど、こんなにひどいとは信じられへん」って言うてるのを見て驚いたわ。わしらずっと説明しようとしてきたのに。これが話してる内容を本当に理解してへんってことを。
このメッセージがちゃんと伝わってへんから、人々は過剰に頼りすぎてしまうんや。バブルが弾けたときに、変な経済的影響が出るやろな。
生成AIはプラスになってへんと思うんや。全体的に見て、生成AIは悪い行為者にとってのええツールで、プラスの使い方は限られとると思うんや。
そのプラスの使い方が、マイナスの使い方を上回るとは思えへん。特に、民主主義が根本から崩されるような偽情報の体制になったら...どんな生産性の向上も、民主主義の終わりを正当化するほどのものやあらへんと思うんや。
残念ながら生成AIは、真実を追跡せえへんし事実性を理解せえへんけど、すごくよく模倣するから、悪い行為者にとってのすごくええツールになってしまうんや。でも良い行為者にとってはあんまりええツールやあらへんのや。
そのことをすごく心配しとるんや。わしらには他のアプローチが必要やと思う。例えば医療や技術の分野では、まだできることがたくさんあるはずや。アルツハイマー病の対処法なんかまだちゃんとしたものがないやろ。
AIがそこですごく役立つ可能性があると思うんやけど、生成AIやなくて、将来のもっと別の形のAIやな。医学文献を読んで、タンパク質のモデル化をして、全部統合できるようなAI。
AIの科学者に関する面白い新しい論文があってな。将来的にはAI科学者を本当に作れるかもしれへん。今はまだうまくいかへんと思うけど。データについて推論したり、計画を立てたりできへんからな。
スバローがお前の番組に出たときに、きっと計画を立てられへんことについて耳にタコができるくらい話したやろ。計画を立てられへんようじゃ、科学者にはなれへんからな。
でも最終的には他の形のAIにたどり着くやろうし、それがすごいものになるかもしれへん。絶対にすごいものになるって約束はでけへんけど、すごいものになる道筋は見えるんや。
それから統治の面もあるな。今はこれらの企業に、結果を考えずに好きなようにさせとるけど、それはええことやあらへん。
司会: AI自動化科学者の論文はとても良かったですね。ロンドンに来るそうで、来月インタビューする予定です。とても楽しみにしています。
でも、先生はAIが性急に市場に出されていると言いましたよね。でも、今じゃなかったらいつなんでしょうか? いつAIを持つべきなんでしょうか?
ゲーリー: そうやな、今あるもののほとんどは実験室に置いておくべきで、大規模に商業展開すべきやあらへんと思うんや。AIの研究をすることには全然問題ないんやけど、わしの問題はほとんど全部展開の仕方にあるんや。
例えば、生成AIが医療や雇用の決定に使われとるのはわかっとるんや。雇用の決定に焦点を当ててみよう。雇用主が求人応募をこれらのシステムに入れて、誰を雇うべきかを決めようとしとるのはわかっとる。
そこには差別が起こる可能性が高いってこともわかっとるんやけど、その問題がどれくらいひどいのか、どれくらいのバイアスがあるのか、公に調べる方法がないんや。でも、マイノリティグループに対する差別がほぼ間違いなく起こっとると思うんや。
雇用の決定にLLMsを使うのは、本当によくないことやと思う。これが文字通り毎日、大規模に起こっとるんやと思うんや。
司会: 昨夜、ヨシュア・ベンジオと話したんですが、彼は言論の自由がとても重要だと言っていました。イノベーションを守る必要があると。「AIをこういう風に使っちゃダメだ」と誰かに言われたくないと。これについて先生はどう思いますか?
ゲーリー: わしが言うのは、社会は価値観のバランスを取らなあかんってことや。アメリカ合衆国憲法と周りの法律は、わしが思うにええ決定をいくつかしとるんや。
一般的に言論の自由はあるけど、特定のことについては例外があるし、差別からも守るようにしとる。平等雇用法もあるしな。
言論の自由は守るけど、平等雇用法は無視するっちゅうわけにはいかへんやろ。そんなことする正当な理由なんてないんや。どうバランスを取るかを考えなあかんのや。
これらのツールが、ほぼ間違いなく人々を差別しとるって分かっとるのに、好きなように使わせるのは...わしがそのデータにアクセスできるべきや。誰かがアクセスできるべきやな。
それはええことやあらへんのや。他に言いようがないけど...大人は、異なる制約が衝突することがあるってわかっとるし、その衝突にどう対処するかを見つけなあかんのやってことや。
今、好きなものを作る完全な言論の自由とか、好きなものを作る自由とかいう考え方が、雇用や就職などでの差別を防ぐ法律とか、商業的な偽情報の生産に関する合理的な考え方とかと衝突しとるんや。
アメリカではあんまり保護されてへんけど、他の場所では保護されとる場合もあるな。こういうことのバランスを取らなあかんのや。
プログラマーとして自分ができることだけを考えて、社会への結果、法的な結果や道徳的な結果を考えへんっちゅうのは間違うとると思う。差別みたいなことに関しては、道徳的に間違うとると思うんや。
司会: 既存の法律でカバーできると思いますか? 例えば、銀行の不正モデルやクレジットモデルには、すでにかなり具体的な規制がありますよね。
ゲーリー: いくつかのことはカバーできるけど、いくつかはできへんな。例えば、平等雇用機会委員会がどこまで監査できるかがはっきりしてへんのや。
彼らは個別のケースで動くんや。誰かが「差別されたと思う。これが証拠や」って言うてきたら、そのケースを取り上げる。でも必要な監査ができるかどうかははっきりしてへんのや。これが既存の法律ではカバーできてへん例の1つやな。
もう1つの例は、まだすごく曖昧なんやけど、名誉毀損の問題や。例えば、大規模言語モデルが実際には起こってへん性的嫌がらせで人を告発したことがあるんや。
起こってへんのはわかっとるんやけど、こういう風に名誉を傷つけられた人が、どういう手段を取れるかがはっきりしてへんのや。今ある名誉毀損の法律には、いろんな複雑な問題があって...
裁判所でどういう風に扱われるかまだはっきりしてへんのや。でも通常、悪意があったかどうかが問題になるんや。大規模言語モデルには感情がないから悪意はないって言えるかもしれん。わざとやったんやあらへんって。
ある種の過失でこういうことが起こっとるんやけど、人間とは違う仕組みで動いとるからって、人の人生を完全にめちゃくちゃにするくらい無責任なシステムを作ってもええってことになるんか? そんなんおかしいと思うわ。
既存の法律では、AIシステムが完全に過失で誰かの名誉を傷つけた場合、全然事実確認もせえへんから過失なんやけど、そういう場合にどうなるかがはっきりしてへんのや。
わしの好きな妄想の例は、そんなに名誉を傷つけるもんやあらへんけど、あるシステムがわしにヘンリエッタっちゅう名前のペットのニワトリがおるって言うたんや。
これはわしに実害を与えるわけやあらへんけど、止めさせる方法もないんや。他にも、ある法科大学院の教授が性的嫌がらせで告発されたりしたけど、たぶん何もできへんのや。
司会: LLMsが生成したテキストに基づく自動化された意思決定については、先生の言う通りだと思います。今のところ、私はハリケーンの中でも100マイル先から嗅ぎ分けられますよ。
ゲーリー: そう思うとるかもしれんけど...わしの知る限り、全ての研究は人間があんまり得意やあらへんことを示しとるんや。
司会: そうですね。LinkedInを見てみればわかりますよね。
ゲーリー: そうや、たくさんあるからな。「delve」(掘り下げる)っちゅう言葉がLLMの発言に異常に多いとか、ある種のヒントはあるんやろな。
たぶんRLHFをやったケニア人がわしらより使うからやと思うんやけど...でも実験的な研究をしとる人らがおって、LLMsを70%以上の精度で検出できるシステムはないと思うんや。
例えば、学生のレポートをチェックするのにこういうLLM検出ソフトを使うっちゅう話やと、75%とか70%とか80%の正確さじゃ全然足りへんのや。
良いレポートを書いたのにLLMって言われた学生のことを想像してみい。5人に1人が間違って判断されるとしたら、すごく怒るやろ。そして当然怒るべきや。
そんなにダメなソフトウェアをそんな仕事に使うべきやあらへん。使うべきやあらへんのや。99%の精度でLLM検出できるソフトを作る方法は誰も知らへんのや。
司会: その通りですね。ルチアーノ・フロリディと話したとき、彼は情報技術の問題は、それと規制...法的な環境との間に全く摩擦がないことだと言っていました。モデルをオープンソース化することは非常に興味深いことですよね。もう手遅れだと思いますか?
ゲーリー: 複数の馬がおると思うんや。1頭は逃げてしもうたけど、他はまだやな。
偽情報に使えるLLMsの馬は完全に逃げてしもうたな。Metaの最新モデルは、たぶん誰でも欲しいと思う偽情報を、それらしく作れるくらい良くなっとると思う。今はもうウェイトが公開されてしもうたから、もう戻せへんのや。
文明全体を巻き戻すような本当にクレイジーなことが起こらん限り、もう二度と戻らへん。だからその馬は完全に逃げてしもうたんや。
たぶんこれから20くらい重要なAIの進歩があるやろな。5つか10か20か100かは知らんけど。それらを全部同じように扱う必要はないかもしれへん。
オープンソースの問題はめちゃくちゃ複雑やな。AIの進歩を加速させたい理由はたくさんあるし、オープンソース化すれば間違いなく加速するやろ。でも悪い行為者が何をするかっちゅう心配もあるんや。
わしにとってはかなり難しい問題やな。サブスタックに書いた論文を読者に紹介しとくわ。OpenAIの論文で、LLMsが生物兵器の製造をもっと悪くすることはないって主張しとったんやけど、そのデータを見ると、統計の扱いが間違うとったんや。
時々その論文が引用されとるのを見るけど、心配になるわ。まだはっきりしてへんけど、LLMsが例えば生物兵器を作る方法を教えるチューターとして使われる可能性はあるんやないかな。
そんなことが1回でも起これば、地下鉄で何万人もの人が死ぬかもしれへん。だからマイナスのリスクは間違いなくあるんや。
わしを怒らせるのは、これがめちゃくちゃ複雑な決定で、たくさんの賢くて思慮深い人が集まって、意見の違いを乗り越えようとせなあかんはずなのに、基本的にMetaが1社で決めてしもうたってことや。
もし悪い結果になったら、世界中がその影響を受けなあかんのに。最近わしがよく使う言葉で、わしが作ったわけやあらへんけど「結果は社会化して、利益は私有化する」っちゅうのがあるんや。
Metaはソフトウェアをオープンソース化することで全部得をするんや。ソフトウェアはたくさんの人に修正してもらえるし、評判も上がる。前に評判を落としとったから、それで人材を集められるようになるんや。Metaにとっては全部プラスなんや。
でもこのソフトウェアが悪用されて人が死んだりしたら、それは社会が負担せなあかんのや。MITは誰にも補償せえへん。神経ガス事故で亡くなった兄弟を生き返らせたりはせえへんのや。
これはええことやあらへんのや。
司会: イーロン・マスクみたいな人もいますよね。彼は本当にX-riskのことに集中しています。ヤン・ルカンみたいな人もいて、彼は先生が何年も前から言ってきたことの多くを取り入れていると思うんですが、偽情報のようなことについてはかなり軽視していますよね。これについてはどう思いますか?
ゲーリー: そうやな、いろんなプレイヤーがおって、みんなそれぞれ違う動機を持っとるんや。本心から話してる人もおれば、財布の中身を考えて話してる人もおる。
ヤン・ルカンが本当にAIのリスクはないって思っとるのかどうかわからへんな...実際、イーロン・マスクが偽情報を広めとるって批判しとるんや。これらのツールが偽情報を生み出すのに使われる可能性があることは、わかってるはずやろ。
すでに実際に使われたって報告もあるのに、偽情報には使えへんって言うとる。でも彼はMetaで働いとるからな。本当に信じとることと、経済的な動機から言うとることの区別がつかへんのや。
イーロン・マスクは...いろんな意味で謎やな。最近は、原則よりも注目を集めることに突き動かされとるように見えるんや。
しばらく彼と話してたんやけど、AIのリスクについて本気で心配しとると思う。でも他のみんなと同じように最先端のモデルを作っとるんや。最後にメールしたとき、彼がトランプを強く支持すると表明したときやったんやけど、わしはこう書いたんや。
「本当にAIのリスクを気にしとるんやったら、トランプを支持するのはあんまり賢明やあらへんかもしれへんで」って。彼は返事をせえへんかった。でもトランプを支持し続けとる。イーロン・マスクの言うてることを全部整合性取るのは難しいんや。
わしは本当にAIのリスクを気にしとると思うんや。演技しとるわけやあらへん。でも実際にはAIのリスクを高めるようなことをたくさんしとるんや。
自分の信念を全部統合できてへんように思えるんや。他の人もおるな。デミス・ハサビスはもっとまっすぐな人かもしれへん。本当にAIのリスクを心配しとると思うし、舞台裏で何かしようとしとると思う。
Anthropicは最初は本当に気にしとったと思うけど、今はドル札が目の前で踊っとるみたいで、前ほど気にしてへんように見えるな。OpenAIはそもそも本当に気にしとったかどうかわからへん。
あの人らに対する信頼を完全に失うてしもうたわ。昔はAIのリスクについてもっと話しとったけどな。明らかに今は商業化にフォーカスしとる。だからシフトしたんや。
いろんなプレイヤーがおるんや。わしの講演や次の本で使うエコノミスト誌のカルの漫画があってな。AIが我々を全滅させるかもしれへん破滅的なリスクを恐れとる国々を描いとるんやけど、企業にも同じように当てはまるな。
漫画の上の部分ではそう言うとるんやけど、下の部分では同じプレイヤーが「でも我々が一番乗りしたい」って言うとるんや。業界全体にこの緊張関係があるんやけど、それが一番はっきり出とるのがAnthropicのCEO、ダリオ・アモデイやと思う。
彼は3年以内にAGIに到達するかもしれへんって言うとるんやけど、わしはばかげとると思う。まだそのことについて話してへんかったな。本気で信じとるみたいやけど、評価額を上げるためのおおげさな宣伝かもしれへん。
でも本気で信じとるみたいで、破滅の確率がすごく高いって思うとるみたいなんや。数字は言うてへんかもしれんけど、例えば50%くらいやとしよう。このテクノロジーが本当に我々を殺す可能性があると思うとるんや。
昔は「だから最先端のモデルは作らへん」って言うとったんやけど、今は他のみんなと同じように最先端のモデルを作っとる。
同じ人間の頭の中で、どうやってこの2つの考えが共存できるんかわからへんわ。本当に自分の作っとるテクノロジーに、種の絶滅...わしは実際にはもっと低いと思うけど、仮に40%か50%か60%の確率で種を絶滅させる、あるいは少なくとも10%くらい減らす可能性があると思うとったら、どうやってそれを道徳的に続けられるんやろ。
でもそれが彼の考え方みたいなんや。
司会: でも、彼らは本当にそう信じていると思いますか? つまり、全部ハッタリなのかという疑問が出てきますよね。彼は本当にそう信じているのか?
ゲーリー: 正直、こいつらの頭の中に入れへんからな。外から見えることしか言えへんのや。読んだり見たりしたことからしか判断できへん。
わしが思うに、人それぞれ違う信念を持っとって、なんでそうしとるのか、リスクをどう考えとるのかも違うんやと思う。
明らかに、今後10年で破滅の確率が50%くらいやと本気で思うとる人もおるんや。演技しとるわけやあらへんのや。
わしの破滅の確率はそれよりずっと低いんや。種を絶滅させることはないと思う。でも民主主義が本当に深刻なダメージを受ける可能性は高いと思うとる。LLMsの結果として、それはかなりありそうやと思うんや。
人類を絶滅させるっちゅう考えは、バカげとるとは言わへんけど、可能性はすごく低いと思う。ゼロやあらへんから、世界のどこかでそのことを考えとる人がおるのはええことやと思うし、どう防ぐかを考えとるのもええことやと思う。
もっと一般的に言うと、文字通りの絶滅を考えんでも、アラインメントはすごく大事やと思うんや。
文字通りの絶滅っちゅうのは、わしにはおかしく思えるんや。わしらは地理的にもすごく分散しとるし、遺伝的にもある程度多様やからな。
COVID-19のことを考えてみい。本当にひどい病気やったけど、それでも人口の1%くらいしか殺せへんかったんや。50%とか80%とかやあらへん。
だからAIシステムがCOVIDを設計しようとしても、全ての場所の全ての人間を止めることはできへんやろ。そんなことはありそうにないと思うんや。
一方で、何かしらの大惨事が起こる可能性は本当にあると思う。例えば、誰かがLLMsを使って可能な限り短時間で最大限の被害を与えようとして、株式市場をショートしようとするかもしれへん。
これが市場予測の1つにならんことを願うとるけど、今まで多くの予測が的中してきたからな...
株式市場をショートして、直前にLLMsを使ってできるだけ多くの被害を与えようとして、大金を稼ごうとする人が出てくるかもしれへん。そういうことが本当に起こるかもしれへんのや。
飛行機を衝突させたりして、たくさんの人が死ぬかもしれへん。そういうリスクは本当にあるんや。
偽情報が核戦争につながるリスクもあるな。ロシアがやってへんことをやったって非難して、ロシアが怒って、どんどんエスカレートしていくかもしれへん。
そういうシナリオはたくさんあるし、これらの結果として何か本当に悪いこと、本当に深刻なことが起こる可能性はかなり高いと思うんや。
司会: そうですね。この間、AI Snake Oilの片割れのスヤーシュ・カプールにインタビューしたんです。彼は破滅に関する主観的確率についてすごくいい記事を書いていて、私も同意見です。確率で表すのは好きじゃないんです。
ゲーリー: わしも数ヶ月前にサブスタックで破滅について記事を書いたんやけど、ほとんどの数字が後付けで正当化されとると思うんや。その通りやな。
司会: でも面白いのは、ある意味で先生はAIリスクの人たちと奇妙な同床異夢の関係にあるということです。ある意味で安全主義ですからね。これについてはどう思いますか?
ゲーリー: うーん、それはわしが本当に重要やと思う部分につながるな。強い絶滅の話には同意せえへんけど。
わしが重要やと思うのは、2つのことが必要やってことや。1つは、AIがより危険になってくにつれて、どう扱うかについての世界的な合意や。情報共有とかそういうことやな。
もう1つは、アラインメントのための技術的な手段や。AIがAより強力になって、Bより熟練してくにつれて、これはますます重要になるやろ。
つまり、世界でより多くの責任を与えられて、求められることをより上手にできるようになるってことや。悪い行為者が悪いことをする機会が増えるからな。
システムが本当に「これは人類の大部分に悪影響を与えるから、この指示に従うべきやあらへん」って計算できるようになってほしいんや。リスクを心配しとる人らが、そういうものを欲しがるのは全然おかしくないんや。
司会: そうですね。彼らには同心円のようなものがあって、一番内側の円では「ペーパークリップ問題」みたいなことを話しているんです。そして、だんだん外側に行くにつれて、より現実的なリスクについて話すようになるんです。
そう言ったのは、先生のサム・オルトマンとの上院での議論についてコメントする動画を作ったんですが、先生はニューラルネットワークの能力に非常に懐疑的なことで有名です。でも、会議のある時点で、AIが自己意識を持つ可能性について話していて、それはとても驚きました。
ゲーリー: うーん、何を言うたか正確には覚えてへんけど、一般的に言うと、そこまでの橋は渡らん方がええと思うんや。物体がどこにあるかとかのモデルを持つのはええけど、ある程度の主体性や意識を持つようになるのは、わしは望まへんのや。
この会議に来とった人の中にも、そうなってほしいって思うとる人がおるけどな。でもわしはそうなってほしくないんや。それは別の厄介な問題を引き起こすだけやと思うんや。
そんなことがすぐに起こるとは思ってへんけどな。AIに対するわしの懐疑のほとんどは、今できることや現在の能力についての過大評価に対してのものなんや。
AGIは可能やと思う。来週見られるとは思わへんけどな。イーロン・マスクが2025年までに起こると言うたときに、100万ドルの賭けを申し込んだんやけど、まだその賭けをしてくれたらうれしいわ。
簡単に儲かる金やからな。慈善団体に寄付するってことでもええし。AGIは近くにはおらへんと思うけど、原理的に不可能やって言う理由は見当たらへんのや。
そういう議論を見たことがないんや。見たことのある議論は、どれも神秘主義みたいなもんやったな。
司会: 多くの人は先生の発言を聞いて興味を持つと思います。多くの人は先生の懐疑的な態度を、ある種のラッダイト(機械破壊主義者)のようなものだと解釈していますが、実際にはそうではないんですね。
ゲーリー: 全然違うんや。何回も公に言うてきたけど、全然違うんや。特にええ例やと思うのは、エズラ・クラインのポッドキャストに出たときのことや。
彼が「多くの人はあなたがAIを嫌いやと思うとるかもしれんけど、あなたはAI企業を作ったし、何年も前からAIについて書いてきたよね」って言うてくれたんや。
わしは「そう言うてくれてありがとう。実はAIが大好きなんや。もしこれに価値がないと思うとったら、こんなことしてへんやろ。望みがないと思うとったら、AIについて書くのをやめてるやろ」って答えたんや。
技術的な面でも、ガバナンスの面でも望みがないと思うとったら、やめてるやろな。でも正しくできる可能性があると思うとるんや。だからこそ、毎日Twitterでより良いAIに向かうよう頑張っとるんや。
可能やと思うし、価値があると思うからや。スティーブ・ジョブズが今の状況を見て喜ぶとは思えへんわ。ジョブズはAppleをこんな会社にするつもりやあらへんかったはずや。
Appleはまだそこまでやないかもしれんけど、他の多くの企業は...全部監視資本主義のことばっかりや。できるだけ金儲けすることばっかりや。アーティストをぼったくるようなことを、ジョブズはせえへんかったと思うわ。
ジョブズはアーティストのことを本当に大事にしとったと思うんや。別に誰もアーティストをぼったくりたいわけやあらへんけど、ある意味どうでもええって感じなんや。
強制されたら、ライセンス契約を結ぶやろうけど、本当はそんなんしたくないんや。ユニバーサル・ベーシック・インカムについて話すとる人らがおるけど、アーティストに1セントも払いたくないんや。法廷に強制されたら払うけど、本当は払いたくないんや。
作家にも払いたくないし...ほとんどの人が金儲けのことしか考えてへんで、社会のことなんか気にしてへん。それが影響を及ぼしとるんや。
AIを運営しとる人らはもう研究者やあらへんのや。マーケティング屋みたいな人らや。このものがどう使われとるかの道徳性にはあんまり興味がないんや。昔はそうやあらへんかったと思う。
文化や政治が変わってしもうたと思うんや。技術的には、たくさんの人がいろんなモデルを発表して比較したり、いろんなアイデアを考えたりする健全な科学的環境から、みんなが根本的に欠陥のあるテクノロジーに集中してしもうたんや。
大規模言語モデルには価値がないとは言わへんけど、AGIにはつながらへんと思うし、わしらが作れるかもしれん医療の発見にもつながらへんと思うんや。間違った道やと思うんや。
それに膨大なリソースを吸い取ってしもうとるんや。1000億ドルくらいが自動運転車に使われて、ほとんど似たようなテクノロジーやったんや。正確な金額は知らへんけど、500億ドル以上がチップだけに使われとる。
大学院生は大規模言語モデルの研究をするしかないんや。そこに金があるからな。これは知的に健全な環境やあらへんのや。
7社くらいが基本的にGPT-4のコピーを作っとるってのは、完全におかしな話や。数百億ドルがもっとええAIのアプローチを開発するのに使えたはずなのに。
わしのことを一番嫌うとる人らは、EASの連中や。Effective Accelerationistとか何とか言うとる連中や。彼らはわしの言うとることを全然理解してへんのや。説明しようとしたけどな。
ある意味では、わしは彼らの味方なんや。でも彼らはそれが分からへんのや。わしはAIをもっと早く進めたいと思うとるんや。でも彼らは、今やっとるAIと、わしらがやるべきAIを区別できへんのや。
ええEASの連中やったら「わしらの最終目標は、LLMsを普及させることやあらへん。人々を助けて社会をよくするAIを作ることや」って言うべきやと思う。そして「これは正しい方法か?」って問うべきやと思う。
答えは明らかに...まあ、可能性が高いのは「違う」やと思う。だからEASの連中はわしの大ファンになるべきなんや。「マーカスは毎日矢面に立って、もっと早くもっとええAIを作る方法を見つけようとしとる。これを嫌う理由なんてあるんか?」って思うべきなんや。
司会: その通りですね。ベス・ベノスとIAIの代表、コナー・リーヒのディベートを主催したんですが、ベスは物理学にインスパイアされた知能を作る会社、Extropicを作っています。
コナーの主張は、基本的に道徳性の面で虚無の神に屈服しているということでした。つまり、世界のこの種の物理的シミュレーションを作って、それが道徳的であることを信じるべきだと。先生はこれに賛成しないでしょうね?
ゲーリー: うーん、詳細を知らんとなんとも言えへんな。ビデオを少し見たけど、あんまり感心せえへんかったから、もっと追求せえへんかったんや。
でも言えるのは、シミュレーションを作ることと、道徳的な推論を作ることは違うってことや。同じもんやあらへん。
例えば、物理法則をよく理解しとる科学者がおるやろ。その中には倫理的な人もおれば、そうやない人もおるんや。全然別のもんなんや。
倫理的な側面には哲学者も関わるべきやし、倫理学者も必要や。全然違うもんなんや。
世界の完璧に忠実なシミュレーターがあったとしても...これはラプラスの悪魔みたいな話で、現実の世界では有限のリソースじゃ無理やと思うけど...仮にあったとしても、それだけじゃ倫理的な決定はできへんのや。
世界がどう動くかを知っとるのとは別に、法的な枠組みや倫理的な枠組みがあるんや。
でも、小さなつながりはあると思う。倫理的なAIシステムがやるべきことの1つは、自分の行動の結果を評価することやからな。
だから、物理学だけやなくて、社会学とか...世界を理解するためのレベルはいくつもあるんや。でも経済学や心理学なんかをすごくよく理解して、それらを本当によくシミュレートできたら...実際にはそこまでできへんと思うけど...
人間に害を与えないようにしようとする倫理的なシステムの中で、それがそこそこよくできたら、すごくええと思う。
アシモフの法則を考えてみい。一番目は「まず害を与えるな」やろ。技術的な観点からそれを考えてみい。この行動が害を与えるかどうかを本当に計算せなあかんのや。シミュレーターが優秀なほど、それがよくできるはずや。
でもそれをやるってことを知っとかなあかんのや。「害を与えるな」っちゅう倫理的な原則があって初めてできることなんや。
もちろん、アシモフの物語はいろんな難しい境界線のケースについて書かれとるんやけどな。でも自分の行動の結果を予測しようとするシステムから始めたら、シミュレーターはすごく役に立つ。
でもその前提から始まらずに、ただシミュレーターがあるだけやったら...それで? シミュレーターを使っていろんなことはできるけど、倫理的な枠組みがないと、それを活用できへんのや。
司会: その通りですね。でも先生にとっては、道徳的な計算が必要だということは、世界には道徳的な事実があると考えているということですよね。それらはどこから来るんでしょうか?
ゲーリー: 道徳的な公理みたいなもんやな。事実やあらへんのや。立場を取らなあかんのや。人間とは独立した道徳的な事実の集合なんてこの世界にはないんや。
これを聞いて多くの人が「わー、意見が合わへんやん」って言うて逃げ出すかもしれんけど、実際には多くのことで意見が一致しとるんや。ただ、一致してることについては話さへんだけや。
道で100人に聞いて「殺人はええことか?」って聞いたら、98人は「あかん」って言うやろ。「自衛のためやったらどうや?」って聞いたら、多くの人が「まあ、状況によるかな」って言うやろうし、詳しい状況を聞きたがるやろ。
でも実際には、多くのことで意見が一致しとるんや。意見が分かれることもあるけどな。「生命の始まりはいつか?」みたいな話やな。人によって意見が違うし、事実として決められるもんでもない。
でも、ほとんどの人が同意する道徳的な原則はたくさんあるんや。物を盗んだらあかん、人を殺したらあかんっちゅうことには、ほとんどの人が同意するやろ。
十戒でもそんなに悪くないスタートになるかもしれへんけど、それさえもまだできてへんのや。
「嘘をつくな」っちゅう原則は、人々の同意がちょっと少ないかもしれんけど、大まかに言えば同意しとると思う。でもLLMに「嘘をつくな」って言うても、全然理解せえへんのや。文字通り理解できへんのや。
せやから、意見の不一致はあるし、文化の違いもあるけど、人々は「滑りやすい坂道の議論」をして「倫理的なAIなんて作ろうとするな」って言いたがるんやけど、それも立場を取ることやねんな。
ある意味、それは極端なリバタリアン的な見方で、何でもありにしてしまうんや。でも極端になると、リバタリアンでさえもそこまで快適やあらへんと思う。
リバタリアンでも「殺人を合法化しよう」なんて言うてへんやろ。そんなこと言うたら、誰も真面目に取り合わへんやろ。
司会: 先生の本の中で、中国での文化の大きな違いの例があったと思いますが、思い出せません。AIの法律は文化によって全然違うように制定されるべきだと考えているんですか?
ゲーリー: うーん、中国のAI規制で一番問題やと思うのは、全てが党の路線に一致せなあかんっちゅう要求やな。実際、アメリカの規制よりずっと厳しいんやけどな。
わしはアメリカでそんなことを見たくないし、中国でもそんなことを見たくないんや。中国でそうするのは、わしの仕事やないかもしれんし、全然関係ないかもしれんけど。
アメリカで絶対にそんなことはしたくないわ。中国では、国家の信じることに従わへんチャットボットを運営するのは違法なんや。
チャットボットが明らかに間違うた陰謀論を広めたらあかんっちゅうのはわかる。そういう方向の規制はあり得るかもしれんけど、与党の道具になるのは...アカンわ。
地球上の誰もそんなことすべきやあらへんと思う。中国がするのを止められへんけど、中国がやっとることは間違うとると思うわ。
司会: ゲーリー先生、ちょうど4年前にMLCに来ていただきました。GPT-4の早期アクセスがあって、実はコナーが秘密のAPIを教えてくれたんです。許可されてなかったんですが。
そこで先生とワリード・サバーグに来ていただいて、話をしました。たぶん2020年11月20日くらいだったと思います。GPT-3だったと思います。
驚くべきことに、まず先生の立場の一貫性があります。今でも毎日何百万回も再生されていて、人々はコメントしています。「素晴らしいワインのように熟成している」と言っていますが、かなり両極端な反応です。
私が言ったのは、「そうですね、驚くべきことです」ということでした。人々を先生と同じ考え方にさせるのは難しかったんです。私にとっては、起こったことは何も驚くべきことではありませんでした。
ゲーリー: わしは基本的に1998年にこのものがどう動くか理解してしもうて、それ以来変わってへんのや。世界モデルを持たへん統計的な近似装置やってことや。
それを理解したら、妄想のような欠陥はすぐに見えてくるんや。2001年の本「The Algebraic Mind」でも妄想について書いとったんや。
妄想や愚かな推論のエラー...推論ですらないんやけどな、近似から来る愚かなエラーに対して、原理的な解決策なんて出てきてへんのや。誰も原理的な技術を生み出してへんのや。
だからもちろん、そういうエラーはまだ起こるんや。わしにとっては、これが全部起こるのは明らかなことやったんや。
いつも言われるのは「もっとデータを加えたら解決するやろ」っちゅうことや。でもわしは「解決せえへん。原理的な解決策やあらへんからや」って答える。
原理的な解決策を持ってきてくれ。例えば、2001年の本で妄想を予測した部分で、エスター叔母さんの例を出したんや。去年の夏に亡くなったんやけどな。
「エスター叔母さんが宝くじに当たったとしよう」って言うて、個人と種類の区別のための報酬システムを持たへんシステムに何が起こるかを説明したんや。
これらのシステムで本当に学んでるのは、個人の特性やなくて種類の特性なんや。個人レベルの述語を持ってへんのや。スバローも最近似たようなことを言い始めたな。
2001年にこの議論をしたんや。原理的な問題があるって。システムに「エスター叔母さんが宝くじに当たった」って言うたら、マサチューセッツに住んでる他の女性とか、ハーバードで働いてる人とか、彼女と何かの特性を共有してる人も、ちょっと宝くじに当たる確率が上がったと思うんや。
でも宝くじはそんな風に動かへんやろ。お前と同じ広告のカテゴリーに入る他の人が宝くじに当たるわけやあらへんやろ。
システムは、これが個人の特性やってことを理解せえへんのや。個人のデータベースみたいな精神的表現を持ってへんからや。
わしにはこれが明々白々やったんや。たしかルメルハートとトッドのモデルで、こういうエラーが起こることをモデル化したと思う。
それで「もっとデータを加えたら解決する」なんて言われても、1998年にこの研究をしたんや。解決せえへんってわかっとるんや。この問題に対する本当の解決策が必要なんや。もっとデータを加えるのは、ただのごまかしや。
だからわしの予測が素晴らしいワインのように熟成したんや。わしの予測を覆すには、誰かが原理的な解決策を出してくる必要があるんや。
「このアーキテクチャで構成性をどう扱うか」とか「個人と種類の区別をどうするか」とか「構造化された表現や変数上の操作をどうするか」っちゅう解決策やな。
でも人々は、魔法のように十分なデータがあれば解決すると思うとるだけや。わしが出すパズルのどれかが解けるかもしれんから混乱するんや。
馬に乗る宇宙飛行士の例でも見たように、文献にあるものでも時々解けへんけどな。
でも一般的に言えば、どんなパズルでも解けるかもしれん。これらのシステムは部分的に大きな記憶装置やからな。ちょっと単純化しすぎやけど、ルックアップテーブルみたいなもんやと考えられる。
ルックアップテーブルには何でも保存できるから、システムが持ってるように自分を騙すことができるんや。
掛け算表はルックアップテーブルやから、掛け算が何かを本当に理解してへん小さな子供に掛け算表を覚えさせたら、6掛ける7が何かを言えるかもしれへん。でも抽象的なレベルで掛け算を理解してるわけやあらへん。
だから何度も何度も...30年間見続けてきたけど、本当に心が折れそうになるんや...人々が1つの正しい答えを見て、システムが正しい基礎的な抽象化を持ってると思い込んでしまうんや。
データやエラーについて考える方法を理解してへんからや。それこそがスティーブ・ピンカーが指導者やったときに本当に学んだことなんや。データや人間のエラーやアルゴリズムについて、どう考えるかってことや。
でも人々はそういう訓練を受けてへんから、ちょっとでも一般化できたら「システムはできた」って言うてしまうんや。
実際、1998年のわしの研究...今でもわしの最高の研究やと思うけど...2種類の一般化があることを示したんや。
見た例の近くでの一般化と、もっと遠くでの一般化や。今は分布シフトって呼ばれとるな。わしは基本的に1998年に、ニューラルネットワークが人間の心のモデルとしてどう適切か不適切かについて、分布シフトについて書いとったんや。
違う種類の一般化があることを理解したら...たぶん人口の2%か、機械学習をやってる人の2%くらいしか理解してへんと思うけど...まあ、それは公平やあらへんな。
人口の2%と、機械学習をやってる人の増えつつある割合が理解しとると思う。それを理解したら、深刻な問題があることがわかるんや。
でも多くの人はこの基本的な区別を理解せえへんのや。そして、実際にはない一般化のレベルを想像してしまうんや。
システムを過度に擬人化してしまうんやな。そういう道に入ってしまうと、「もっとデータがあれば解決する」とか思ってしまうんや。
でも正しい道に入ったら、明らかなんや。これらのシステムが実際に何をしとるかを本当に理解したら、奇跡を起こすもんやあらへんし、これらの問題を解決せえへんのは明らかなんや。
この根本的な問題はなくならへんのや。Soraを2秒見ただけで「時間とともに物体を追跡するのに問題があるやろな。個々の物体の表現がないからや」って思うたんや。
ピクセルレベルでの表現しかないんや。案の定、たくさんの問題があったんや。これらのシステムを見たら、たいてい数分で分解できるんや。どう動いとるか、何が欠けとるかがわかるからや。
それは8歳からコンピュータープログラマーで、13歳から認知科学者やったからできるんやと思う。わしにはそれが見えるんや。
人々が軽視するのがイライラするのはわかるで。チョムスキーとの動画は100万回近く再生されとるやろ。わしの人生で最高の経験やったわ。YouTubeのコメントを読んでみい。
人々が理解してへんのか、わしを無視するのがすごくイライラするわ。
司会: そうですね。チョムスキーも常に無視されています。彼の政治的な立場で彼を否定する人もいます。「彼の政治に同意できないから、言語学でも間違っているはずだ」というように。実際にはそうならないですよね。
ゲーリー: わしも彼の政治には同意せえへんし、言語学の一部にも同意せえへん。でも大規模言語モデルは人間の言語について多くを教えてくれてへんって言うとるのは正しいんや。
大規模言語モデルは、インターネット全体をコーパスとして使うことに依存しとるからな。3歳の子供がインターネット全体を2年間聞いて、基本的に理解するわけやあらへんやろ。
司会: でも、トロルはどこにでもいますよね。多くの人は、先生がケネス・スタンリーと一緒にGeometric Intelligenceというai会社を売却したことを知らないでしょう。
ゲーリー: そうや、ケン・スタンリー、ゾウビン・ガーラマニ、ダグ・ベミス、ジェフ・クルーン...みんな参加しとったんや。わしが最初に会社を立ち上げて、ゾウビンを連れてきて、後でケンを連れてきて、最終的にジェフも参加したんや。
司会: ほとんどの人はそれを知りません。Wikipediaにはありますが、見つけられます。時々、わしを攻撃するトロルに反論して、「サイエンスやネイチャーに論文がありますか? Uberにai会社を売却しましたか?」って聞くんです。もちろん彼らにはないですよね。
ゲーリー: そういうのにどう答えたらええかわからんわ。人々は時間をかけてわしのことを本当に理解しようとするか、せえへんかのどっちかやな。そして、ほとんどの人は理解しようとせえへんのや。
わしを悪者にしたいだけなんや。チョムスキーと同じように、監視資本主義は基本的に企業があなたのプライバシーを侵害して、あなたの情報を直接的か間接的にいろんな人に売ることで金を稼ぐってことや。
正直言うて、この間のOpenAIの話は胸糸か立つわ。ウェブカメラの会社を買収したんやて。
すでに全ての文書にアクセスしようとしとるのはわかっとったし、Microsoftとの契約で5秒ごとにスクリーンショットを撮るっちゅう話もあったな。
最初は一般の人が反対して取りやめになったと思うけど、平文のデータベースがあったんや。だからMicrosoftが直接悪いことをせえへんとしても、ちょっとでも腕のある悪い奴やったら、この情報を全部取れるようになっとったんや。
すでにあなたのことについて可能な限り全てを手に入れて、それを商業化しようとしとる状況やったんや。たぶん広告を売るためやろな。
それでウェブカメラの会社を買収したんや。わしはびっくりしてしもうたわ。OpenAIは実際に金儲けするのにすごく苦労しとるんや。去年は50億ドルの営業損失を出したんやで。
多くの企業がOpenAIのソフトウェアを試したけど、あんまり興奮してへんみたいやな。試してみて、そんなに使いたくないって。CopilotもOpenAIのプラットフォームで動いとるけど、あんまり評判よくないみたいや。
Microsoftは必死に人々に使わせようとしとる。みんな試したけど、マーケティング不足ってわけやあらへんのや。ただ信頼性が低いんや。
だからOpenAIは問題に直面しとるんや。このもので金儲けをどうするか。安くはないからな。たぶん100億ドルくらいデータとチップに使うて、これからまた100億ドルくらい使うかもしれん。
GPT-4はどれくらい高いかわからへんけど、金を稼がなあかんのや。そうせえへんと倒産するか、Microsoftにもっと大きな株式を取られるかもしれへん。
VCがOpenAIの評価額を2000億ドルに引き上げたがるかどうかも不明確や。今の収益の状況を見とったらな。
もしわしがサム・オルトマンで、わしとは違う道徳観を持っとったら、まず考えるのは監視やろな。人々は全てのデータを銀の皿に乗せて渡してくれとるんや。
今はカメラも手に入れた。これが会社の自然な方向性やと思う。OpenAIって名前やのにな。
これは本当に不気味なことや。ビッグブラザーになろうとしとるんや。そういえば、まだ非営利団体やってことも忘れんといてな。これは狂ってる。
結局、世界最大の監視企業が、OpenAIを名乗る非営利団体の完全子会社になる可能性が高いんや。わしにとって、これはかなりありそうな結果やし、すごく不安やわ。
司会: NSAの人を雇ったのはどうですか?
ゲーリー: それも明らかに同じ図式の一部やな。もしわしがOpenAIやったら、政府が捕捉した監視データでも言語モデルを作るやろな。政府もそれに興味があると思う。
ナカソネ...ポール・ナカソネをNSAから雇ったのは、明らかに...まあ、明らかにとは言えへんかもしれんけど、たぶん政府の契約を取るためやと思うわ。それがOpenAIの狙いやと思うんや。
司会: そうですね。OpenAIは面白いですよね。他のLMエコシステムは企業向けモデルを開発していますが、OpenAIは消費者に直接アプローチしていますからね。これについてはどう思いますか?
ゲーリー: 正直、今のところNVIDIA以外に勝ち筋が見えへんのや。NVIDIAはゴールドラッシュでシャベルを売っとるようなもんや。みんなシャベルを買いたがっとる。
NVIDIAのせいやあらへん。みんながシャベルを買いたがっとるだけや。NVIDIAは長年かけて、地球上で最高のシャベルを作る方法を考えてきた。すごくよく経営されとる会社や。
そのシャベルを持っとって、売っとるから、たくさんの金を稼いどる。他の会社はみんな苦戦しとるんや。
Midjourneyは利益を出しとるけど、大きな訴訟が起こるか、莫大なライセンス料を払わなあかんようになるやろ。結局、Midjourneyが利益を出せるかどうかわからへん。
他のほとんどの会社は、控えめな収益しか上げてへんのに、収益の200倍くらいの評価額がついとる。利益の200倍やあらへんで、収益の200倍やで。クレイジーな数字や。
まだ誰も、毎年何十億ドルもの利益を上げ続ける戦略を見つけてへんと思う。小さな分野ではあるかもしれんけど、大規模にそれをやる戦略はまだ誰も持ってへんと思うんや。
B2BでもB2Cでも、まだ誰も明確な方法を見つけてへんのや。絶対に誰も見つけられへんとは言わへんけど、みんなにとって本当に深刻な問題があるんや。
致命的な問題かもしれへん。Metaが基本的に同じ製品を無料で提供し始めたからや。
それに対処する方法はあるんや。カスタマーサービスをよくするとか、特定のトレーニングセットを持つとか...完全にノックアウトされたわけやあらへん。まだチャンスはあるんや。
でもこれはかなり深刻な問題や。何をやるにしても、Metaのプラットフォームでそれをやろうとする競合が出てくるんや。
自分のデータセットでやっとっても、誰かがMetaのプラットフォームでファインチューニングするんや。もうOpenAIに金を払わへんようになるかもしれへん。
司会: バブルなんでしょうか? 弾けるんでしょうか?
ゲーリー: イエスともノーとも言えるな。経済的には成り立たへんと思う。去年、ちょうど1年前に「生成AIはダメになるのか?」っちゅう記事を書いたんや。
あれは先見の明があったと思うし、経済的に成り立たへんってことがみんなにわかってきとると思う。多くの投資家がたくさんの金を失うやろうし、投資家にお金を出した年金基金なんかも金を失うやろ。
熱狂は失われるやろな。ツールは残るやろ。Metaは無料で提供し続けるやろうし、人々はまだ何かに使うやろ。
でも1年後には状況が変わっとると思う。暗号通貨からAIに移ってきた人の多くは、次の何かに移るやろな。「これで金儲けする方法が見えへん」って言うて。
投資資金はかなり少なくなるかもしれへん。LLMsは存在し続けるけど、最終的に人々は他の解決策を探し始めるやろ。
ニューロシンボリックAIがついに日の目を見るかもしれへんな。DeepMindの最近のAlpha ProofとAlpha Geometryの結果は印象的やった。
転換点になるかもしれへんな。生成AIは、2023年ほど人気になることは二度とないと思う。ツールは常にそこにあるけど、「ああ、ブレインストーミングに使うわ」くらいになるやろ。
「これは救世主や。史上最高のものや」みたいな感じにはならへん。人々が「AIは火や電気より大きい」みたいなこと言うとったけど、実際にはほとんどの人は生成AIより携帯電話を手放したくないやろ。
携帯電話を取り上げられたら、みんなすごく動揺するやろ。でも多くの人は生成AIなしで生きていけるんや。遊んでみて面白かったけど、月50ドル払えって言われたら、ほとんどの人は「いらんわ」って言うやろ。
ほとんどの企業も試してみたけど、「まあ、ちょっとは使えるかな」くらいの反応や。人々はそれなしでも生きていけるんや。
去年の誇大宣伝は、これが不可欠なもので、世界を完全に変えるってもんやったけどな。
AGIが来たら、そうなるかもしれへん。本当に人間の仕事の認知的要件と物理的要件を理解できるシステムができたら、世界は完全に変わるやろな。
わしの生きてる間に起こるかもしれへんし、起こらんかもしれん。いつかは起こると思う。でも生成AIはそれやあらへんかったし、そうなるはずもなかったんや。
3年前にお前に言うたとおりや。現実が明らかになってきて、もう同じように扱われることはないやろ。
それに、サム・オルトマンの評判もちょっと落ちてきとるしな。この熱狂の多くは彼個人のカリスマ性に頼っとったんやけど、今は多くの人がサムのことを疑っとる。それも当然やと思う。
毎日のように誇大宣伝があって、あらゆる新聞に載っとったけど、2025年くらいには、人々はまだ生成AIを使うかもしれへんし、時々ニュースにも出るやろ。OpenAIも事業を続けとるやろ。
でも860億ドルやったっけ、あの評価額は高すぎたって思うやろな。「Metaが無料で配っとるのに、どうやって金儲けするんや?」って。
まだそこにはあるけど、ペットロックみたいなもんにはならへんやろ。ペットロックはまだおもちゃ屋で買えると思うんやけど...ほとんどのリスナーは何のことか分からんやろな。
わしが生まれる前、みんなが石を買って自分のペットって呼んどった時期があってん。クレイジーな話やけどな。あるいはたまごっちとか。
世界を一時的に支配するけど、すぐに消えてしまうようなブームがあるんや。
わしがよく言うことやけど、人々は数点のデータを見て指数関数的に伸びると考えすぎるんや。それを笑う方法はいくつかあるんやけど、わしが好きなのは「ディスコの錯覚」って呼んどるもんや。
他の人の漫画やけど、たぶん見せられると思う。1974年と1976年くらいのディスコアルバムの売上を描いとって、誰かが外挿しとるんや。
漫画の詳細は忘れたけど、「1978年には売れるレコードは全部ディスコになって、永遠にそうなる」みたいなことを言うとるんや。
でもみんな知ってるように、そうはならんかったんや。ディスコは一時期流行ったけど、シンセサイザーミュージックやパンクなんかが出てきて、人々は飽きてしもうた。
しばらくは楽しかったんや。ChatGPTもそんな感じになるやろ。
まだディスコアルバムは買えるし、わしも「サタデー・ナイト・フィーバー」のサウンドトラックは好きで、たまに聴くんや。完全に消えたわけやあらへん。
懐かしさを感じるし、わしの人生にまだ役割はあるけど、24時間ディスコを聴くようなことはもうせえへん。人々もチャットボットにそんなに時間を費やさんようになるやろ。
2022年11月に出てきてから、わしらの人生の中心やったけど、そんなことはなくなるやろ。
司会: Metaは面白いですね。メタバースとバーチャルリアリティを作ろうとしていますから。皮肉なことに、この技術の潜在的な使用例がいくつかありそうです。
ビジネスリーダーの何人かが私に言ったように...
ゲーリー: ああ、質問の残りの部分に答えるな...多くの人がメタバースの世界を大規模言語モデルのキャラクターで埋められると想像しとるんやけど、わしはそれはすぐに飽きられると思うんや。
これらのキャラクターは本当に世界を理解してへんからな。しばらくは機能するやろ。チャットボットで作ったNPCは。でも最終的には、物事が意味をなさんようになって、幻想が壊れるんや。
メタバースが機能する唯一の方法は、幻想がすごく強力で、遊ぶのがめちゃくちゃ面白いってことやな。
今日、grokに11個の卵を卵ケースなしで作ってって頼んだら、15個の卵を卵ケースに入れて作ったんや。そういう変な経験が増えてくると、「まあ、驚いたけど...」
司会: でも面白くないですか? それは治療になるかもしれません。バーチャルパートナーかもしれないし、ゲームかもしれない。何か殺し文句のアプリケーションがあって、それがメタバースを変え、生成AIを経済的に成り立たせる可能性はないでしょうか?
ゲーリー: わしが思うに、殺し文句のアプリケーションは監視になると思うわ。みんなの個人情報を売るのが、歴史的に見て儲かるビジネスやったからな。
そこに落ち着くんやないかな。でもわからんけどな。
司会: ゲーリー・マーカス教授、今日はお越しいただきありがとうございました。素晴らしい会話でした。
ゲーリー: ありがとう。わしも楽しかったわ。