カーラ・スウィッシャーとユヴァル・ノア・ハラリが語る テックブロ、魔女、そして情報の洪水について

23,447 文字

こんにちは、みなさん。ほんまに今日はここに戻ってこられて嬉しいわ。前回ここに来た時は、自分の本のことをサム・アルトマンと話したんやけど、彼、めっちゃ優秀な聞き手やったわ。ちょっと怖いくらいやったけどな。
でも今日は特別嬉しいんや。ユヴァル・ハラリとは何度か対談したことあるんやけど、今回彼がAIについての本を書いたんが超楽しみなんよ。でも実は、それって情報の歴史についての本なんや。彼、元々歴史家やからな。
みんな来てくれてほんまにありがとう。副大統領候補者討論会、見逃したやろ？でもそれはええことやと思うわ。多分ここの方がおもろいし、犬を食べる話とかせんからな。もう既に一歩リードしとるわけや。
ユヴァル・ノア・ハラリについて紹介する必要なんてあらへんわ。なんて素晴らしい人物で、なんて素晴らしい著者なんやろ。この本も間違いなくベストセラーになるわ。
さて、たくさん質問があるんやけど、最後に会場からの質問も受け付けるつもりや。今はみなさんの顔がよう見えへんから、質問する時に手を挙げてくれたらありがたいわ。でも、たくさん質問用意しとるから、きっと面白い議論になると思うで。
これは後でカーラ・スウィッシャーのポッドキャストでも配信されるから、本当に興味深い議論になるはずや。
シティ・アーツ・アンド・レクチャーズへようこそ。また会えて嬉しいわ。来てくれてありがとう。
ユヴァル: こちらこそ、来られて嬉しいです。
カーラ: 今日は、あなたの最新作「ネクサス：石器時代からAIまでの情報ネットワークの簡潔な歴史」について話すんやけど、これ、簡潔やないで。かなり分厚くて長い本やん。石器時代からAIまでを400ページほどで語るなんて、すごいわ。
ユヴァル: まあ、そうですね。
カーラ: オッケー、そう言うんならそうやな。あなたの最初のベストセラー「サピエンス：人類の簡潔な歴史」は2011年に出版されたわ。正直、これらの本は小型犬を殺せるくらい分厚いんやけどな。それから2015年に「ホモ・デウス：テクノロジーとサピエンスの未来」を書いたわね。タイトルに「簡潔な」ってついとるけど、全然簡潔やないやん。
さて、「ネクサス」で何を伝えようとしたんか、そしてそれが他の本とどう関係しとるんか、なぜこの本を書こうと思ったんか、その辺りから話してもらえるかな。それから歴史の話に入っていくわ。
ユヴァル: はい、「サピエンス」と「ホモ・デウス」の続きみたいなもんですね。この本の根底にある2つの主な疑問があります。まず1つ目は、「人間がそんなに賢いのに、なぜこんなにアホなんや」ということです。
私たちは、この惑星を支配し、月に行き、原子を分裂させ、DNAを解読することができました。それなのに、今や自分たちだけでなく、生態系全体を破壊しそうな状況にあります。生態系の崩壊や核戦争、AIの台頭など、いくつかの方法で自滅する可能性があるんです。一体何が間違っとるんでしょうか？
これは歴史を通じて人々を悩ませてきた問題で、神話や神学にはたくさんの答えがあります。人間の本性に何か問題があると言うんですが、「ネクサス」は違う見方をします。問題は私たちの本性にあるんじゃなくて、情報にあるんです。良い人に悪い情報を与えたら、悪い決断をするんです。
そして、本はさらに情報の長期的な歴史を探ります。なぜ情報はよくならないんでしょうか。何千年もの間に、情報がよくなると期待したはずなのに、実際にはそうなっていません。現代の大規模な社会は、石器時代の部族と同じくらい、大規模な妄想や集団的な狂気に陥りやすいんです。
20世紀のスターリニズムやナチズムを考えてみてください。石器時代の部族よりもはるかに強力で、はるかに洗練された情報技術を持っていましたが、それでも非常に妄想的でした。
今日の世界を見ると、史上最も洗練された情報技術を持っているのに、人々はもはや理性的な会話を持つことができなくなっています。
カーラ: そうですね。技術用語で言うと、「ガベージ・イン、ガベージ・アウト」ってやつですね。かなりの部分を説明できる、本当に簡単で技術的な言葉です。でも、あなたが言っているのは、これが歴史的なことだということですね。ただ、私たちが自分たちのために作っているガベージがより洗練されているだけということですか？
ユヴァル: そうです。でも、そのガベージは偶然ではありません。それは1つの重要なことに効果があるんです。秩序を作り出すことです。この本の鍵となるアイデアの1つは、人間が世界を支配しているのは、他のどんな動物よりも大規模に協力できるからだということです。
大規模な協力システムを作るには、2つの相反する方向に引っ張られる要素が必要です。1つは世界についての真実を知ることです。でも同時に、何千人、何百万人、何十億人もの人々の間で秩序を維持する必要があります。そして、真実はそれを実現する最も簡単な方法ではありません。
ほとんどの場合、フィクションやファンタジー、そして露骨な嘘の方が、人々の間に秩序を作り出すのに効果的なんです。
カーラ: 今日、私がよく考えることの1つは、技術と情報が道具であり、同時に武器でもあるということです。印刷機にしろ、パピルスにしろ、技術は常に両方の目的で使われてきました。武器としても使われるんです。
槍は常に武器ですが、ナイフはより良い例ですね。道具でもあり、武器でもあります。明らかに、今はAIが大きな話題になっています。「ホモ・デウス」では、新しい情報技術の利点と危険性について議論していましたね。特に人間がコントロールを失った場合のことを。
「ネクサス」では、「ホモ・デウス」以降、AIについての会話が「暇な哲学的思索から、救急室のような集中的な緊急性を持つものに変わった」と書いていますね。現在のAIについての会話は、あなたの視点からどのようなものですか？
ユヵル: 2つの会話があります。1つは単に私たちが直面しているものを理解すること、AIとは何か、なぜ危険なのか、脅威は何かということです。多くの人々がこれを理解するのに苦労しています。
核兵器のように危険性が明白なものではありません。核戦争は単に全ての人を殺すだけです。AIの危険性は何でしょうか？ハリウッドは、他の誰もこの問題について考える前に注目を集めるという意味では良いサービスをしましたが、間違ったシナリオに焦点を当てていました。
「ターミネーター」や「マトリックス」を考えてみてください。焦点は大規模なロボットの反乱、AIが世界を乗っ取り、私たちを一掃することに決めた瞬間に当てられています。これは近い将来起こりそうにありません。AIにはロボット軍を作って国や世界を乗っ取るために必要な広範な知性がないからです。
これが人々を安心させてしまいます。AIについての会話の重要な問題の1つは、大規模なロボットの反乱ではなく、AIの官僚たちが内部から世界を乗っ取ることだと説明することです。外部や下からの反乱ではなく、内部からです。
AIは確かに一般的な知性ではありませんが、官僚制の中では非常に狭い知性で enormous な力を得ることができます。例えば弁護士を考えてみてください。サバンナの真ん中に弁護士を置いても、特に力強い存在ではありません。ライオンやゾウ、ハイエナよりもずっと弱いです。
でも官僚制の中では、弁護士は世界中のすべてのライオンを合わせたよりも強力になる可能性があります。そして、これがAIが入り込んでいる場所なんです。今や何百万ものAI官僚が、私たちや世界について重要な決定を下しています。
銀行にローンを申し込むと、AIが決定を下します。仕事に応募すると、戦争でも、AIがターゲットを選んでいます。
会話の一部は、脅威が何であるかを理解することです。そして、もう一つの部分は、もちろん、それについて何をするかということです。
ここで私が思うのは、ほとんどの人が一定の時間が経つと、単純に減速することが最善だと同意すると思います。人間社会に適応する時間を与えることが良いと。
でも、全員が同意するわけではありません。すぐに反論が出てきます。理想的には減速することが良いかもしれないが、我々にはそれができないと。なぜなら、悪い奴ら、競争相手たちが減速しないからだと。彼らがレースに勝ってしまうから、我々はもっと速く走らなければならないと。
そして、こんなパラドックスが生まれます。基本的に彼らは、人間を信頼できないから速く走らなければならないと言いながら、正しいAIなら信頼できると考えているんです。
カーラ: そうですね。あなたと私は、故ダニエル・カーネマンとこの議論をしましたよね。AIの意思決定対人間の意思決定について。覚えていますか？
でも、最初に探求したいのは、人間が構築した、はるかに劣る情報システムで歴史的に何が起こったかということです。
この情報時代の暗黙の前提は、すべての時代が何らかの形で情報時代だったということですね。あなたが言ったように、より多くの情報が真実につながり、それがより多くの知恵、より多くの開放性、より良い世界につながるという考え方です。
明らかにそれは naive な考えで、あなたはそれについて議論していますね。そして、情報を「異なる視点を1つのネットワークにつなげることで新しい現実を作り出すもの」と定義しています。
この概念は数学では標準的なものですが、哲学者として、また歴史家として、情報を真実から切り離すことに危険性を感じませんか？
ユヴァル: ほとんどの情報は真実ではありません。真実は世界のすべての情報のごく一部に過ぎません。
まず、真実は非常にコストがかかります。何かについて真実の説明を書きたいなら、調査し、証拠を集め、事実を確認し、分析する必要があります。これは時間とお金と労力の面でとてもコストがかかります。
一方、フィクションは非常に安価です。頭に浮かんだことをそのまま書けばいいだけです。
真実はまた、多くの場合非常に複雑です。現実が複雑だからです。一方、フィクションは好きなだけ単純にすることができます。そして人々は通常、単純な物語を好みます。
最後に、真実は痛みを伴うことがあります。個人的な関係や、他の人や自分自身に対して行ったことについての真実であれ、国家や文化全体についての真実であれ、痛みを伴います。
一方、フィクションは好きなだけ魅力的で、お世辞のように作ることができます。
この真実とフィクションやファンタジーの競争の中で、真実は大きな不利を負っています。単に世界に情報を氾濫させれば、多くの人が期待するように、ほとんどの情報は真実ではありません。
この情報の海の中で、真実に何らかの助けや優位性を与えなければ、真実は浮かび上がるのではなく、底に沈む傾向があります。これは歴史を通じて何度も何度も見られることです。
人々が新しい情報システムを発明するたびに...
カーラ: それって本当に興味深いわ。最近、レイチェル・マドーの前書きを聞いてたんやけど、そこでジョセフ・ゲッベルスの話が出てきてん。悪い情報やただの情報で領域を氾濫させると、真実が洗い流されるって言うてたわ。
もちろん、テニー・ウィリアムズは「真実は底なし井戸の底にある」って言うてたな。絶対に辿り着けへんって。
そして、もっと現代的な例でいうと、スティーブ・バノンがおるやん。私、バノンの本読んだことあるんやけど（ごめんな、みんなのために読んだんや）、彼はこの考えについて何度も何度も語ってる。領域を氾濫させるのが、人々を混乱させ、気をそらすための最良の方法やって。
これはどこでも使われとるんや。何年も前、サーキットシティっていう電気店に行った時のことを思い出すわ。そこにはたくさんのテレビがあって、全部ついとったんや。なんでそうしとるんか店員に聞いたら、「混乱の壁」やって。「お客さんに特定のテレビを買ってもらいたいから、まず混乱させて、それからレーストラックみたいな状況を歩かせるんです。そうすれば、私たちの望むテレビを買ってくれるんです」って言うてた。
すごいアイデアやと思ったわ。でも、あなたが言うように、これは新しいことやないんやな。ただ、私たちが自分たちのために作っとるガラクタがより洗練されただけや。
新しい技術と科学の進歩を結びつけるのは普通のことやけど、これは良い循環やと思われとるわ。例えば印刷機の場合とかな。あなたの本の中で本当に興味深かった部分やけど、少し歴史に戻ってみましょう。
グーテンベルクが印刷機を発明した時、科学や、例えば「天体の回転について」のような科学的伝統の基礎となる文書の代わりに、15世紀の本当のベストセラーは「魔女の鉄槌」っていう本やったって指摘してますよね。「魔女の鉄槌」について少し話してもらえますか？
ユヵル: はい、大ヒットしたベストセラーでした。
基本的に、特にここサンフランシスコやシリコンバレーみたいな場所で情報について話すと、最終的に歴史に触れて、歴史的なアナロジーを出す人がおるんです。
そして、「印刷機が科学革命を引き起こしたのと同じように、私たちがやっていることも新しい科学革命を引き起こすんです」みたいなことを言うんです。
でも実際のところ、印刷機は科学革命を引き起こしてないんです。15世紀半ばにグーテンベルクがヨーロッパに印刷技術をもたらしてから、17世紀半ばのニュートンやライプニッツらによる科学革命の開花まで、約200年かかっています。
この200年の間に、ヨーロッパ史上最悪の宗教戦争の波が起こっています。印刷機がそれを可能にしたんです。後で説明しますが。
また、最悪の魔女狩りの波も起こっています。ヨーロッパの大規模な魔女狩りの狂気は中世の現象ではなく、近代の現象なんです。印刷機がそれを助長したんです。
中世のヨーロッパ人はあまり魔女を気にしていませんでした。魔女の存在は信じていたけど、危険だとは思っていなかったんです。
グーテンベルクが印刷機を持ってきた頃、ある小さなグループが陰謀論を思いついたんです。魔女は魔法の力を持つ個人ではなく、愛の媚薬を作ったり失くした宝物を見つけたりする程度のものじゃない。サタンに率いられた、あらゆる町や村に代理人がいる世界的な陰謀組織で、人類を破壊しようとしているんだ、って。
カーラ: 基本的にQアノンみたいなものですね。
ユヴァル: そうです。直接的なつながりがあります。アイデアはそこから来ているんです。
最初は誰も気にしませんでした。それを広めた人の一人に、ハインリヒ・クラマーという人がいて、彼はアルプスで自分で魔女狩りをやり始めたんです。今のオーストリアあたりですね。
でも彼は教会当局に止められました。当局は彼が狂っていると思って追放したんです。
そこで彼は印刷機を使って復讐しました。「魔女の鉄槌」という本を書いたんです。これも自分でできる魔女の見分け方と殺し方のマニュアルでした。
今日でも魔女と関連づけられている多くのアイデア、例えば魔女はほとんど女性だとか、野蛮な性的乱交に参加するとか、そういったことの多くは、ハインリヒ・クラマーの狂った想像力から大部分が生まれたんです。
この本の味わいをちょっと教えましょう。魔女が男性からペニスを盗む能力についての章があるんです。あらゆる種類の証拠付きで。「証拠に基づいている」んですよ。
例えば、ある男が朝起きたらペニスがなくなっていた、という話を紹介しています。その男は地元の魔女を疑い、魔女の家に行ってペニスを返すよう強要します。
魔女は「わかった、わかった。この木に登って」と言います。男が木に登ると、てっぺんに鳥の巣があって、そこに魔女が盗んだ様々な男性のペニスが入っているんです。
魔女は「自分のを取っていいよ」と言います。もちろん、男は一番大きいのを取ろうとします。すると魔女が「ダメよ、それは教区の司祭様のよ」と言うんです。
カーラ: なるほど、コペルニクスの「天体の回転について」よりも、こっちの方が売れたのがわかりますね。コペルニクスの本にはペニスは出てこないでしょうしね。
ユヴァル: そうです。これは全部とてもおかしく聞こえますが、その結果を理解するまでは。
ヨーロッパの魔女狩り狂気の間に、何万人もの人々が最も恐ろしい方法で殺されたんです。
一例を挙げましょう。ミュンヘンで一家全員が逮捕されました。ポッペンハイマー家です。この世界的な魔女の陰謀の一員だと非難されたんです。
父親、母親、3人の子供がいて、まず10歳の男の子、一番下の子供を拷問し始めました。ミュンヘンの古文書館に今でもその尋問の記録が残っています。
10歳の男の子を言葉にできないほどひどい方法で拷問し、母親を告発させます。「はい、母は魔女です。サタンに会いに行きました。赤ちゃんを殺し、雹を呼び寄せます」と。
家族全員を壊し、10歳の男の子を含む全員を処刑しました。
これは最終的にアメリカにも及びます。セーラムの魔女裁判ですね。
これは印刷機が原因ではありませんが、印刷機がそれを広めるのを可能にしたんです。今日、フェイクニュースや陰謀論が広まるのと同じ理由です。
そして、印刷機を作った人々は責任を取りません。これは現代でも同じですね。
カーラ: その会話に何度も参加したことがあります。
ユヴァル: そうです。その会話は何世紀も前から行われてきたんです。
今日でも、基本的に何百万人ものアメリカ人が、サタンに率いられた文明を破壊しようとする世界的な陰謀について、同じような話を信じています。
前回、何がそれを止めたのか、どうやって最終的に科学革命にたどり着いたのかを見てみると、印刷機の技術ではありませんでした。
情報の海や魔女についての様々な話を振り分け、信頼できる情報を評価するメカニズムを開発する機関を作ることだったんです。
カーラ: 人口によって正しく...
ユヴァル: そうです。人口は非常に簡単に騙されますからね。
人々が最も買いそうな情報ではなく、最も真実である可能性が高い情報を広めることです。
科学出版社に論文や本を出版するために原稿を送る時、彼らが知りたいのは、これがたくさん売れるかどうかだけでなく、これが真実かどうかなんです。
カーラ: 現在に話を進めると、今日起こっていることの1つは...実際、数年前にマーク・ザッカーバーグとのインタビューで、アレックス・ジョーンズについて話したことがあります。
彼は現代史上最大の誤情報の発信者の1つで、本当に卑劣な人物です。私は「なぜ彼をプラットフォームから追放しないんですか？彼が明らかに嘘をついていて、それが真実ではなく、あの子供たちは子役ではなく、実際に亡くなっているんです。両親にとって有害で、彼らにとっても有害です」と言いました。
なぜかわかりませんが、彼はその会話をホロコースト否定に切り替えました。私は「いや、アレックス・ジョーンズの話に戻りましょう」と言いましたが、彼はそうしませんでした。
そこで私は彼の意見を聞くことにしました。本当に興味深かったです。彼は「ホロコースト否定者は嘘をつくつもりはない」と言い始めました。私はそれがホロコースト否定の定義だと思いましたが。
彼の視点を聞かせてもらいましたが、完全に馬鹿げていました。なぜなら、プラットフォーム上でホロコースト否定者が増えれば増えるほど、反ユダヤ主義が広がっていくのが見えたからです。
これらの人々が他の人々にアクセスできれば、それが起こるのが見えたんです。なぜなら、それは興味深い内容だからです。事実よりもずっと興味深いんです。
彼はそう言ったことで多くの批判を受けましたが、それでも彼らがプラットフォーム上で繁栄するのを止めませんでした。2年後、彼が彼らを追放することを決めるまで。
私の見解では、彼一人がこの反ユダヤ主義の洪水の責任者でした。なぜなら、彼は最初の段階で何もしようとしなかったからです。
歴史的な観点から、これらの...現在、それは少数の人々の手にあって、彼らは歴史に本当に問題があります。コーディング以外の知識に本当に問題があるんです。
ユヴァル: はい、主な問題は、そして何らかの理由で彼ら全員がペニスを持っていますが...
カーラ: まあ、魔女が彼らのペニスを盗むのを恐れているんでしょうね。
ユヴァル: いや、それはイーロン・マスクだけです。誰も彼のペニスは欲しがりません。
カーラ: さて、あなたは自己修正メカニズムの重要性について話していますね。それをどのように...
ユヴァル: はい、これらの問題すべてについて言えることは、人々がこれらのことを言うことを許すかどうかではありません。
ここでは、実際にザッカーバーグやイーロン・マスクなどに同意する傾向があります。人々を単に沈黙させる前に、非常に慎重になるべきです。
問題は、人々が様々なことを言うことではなく、プラットフォームが意図的に特定の種類のもの、特に憎しみや恐怖、怒り、憤慨を広めるものを宣伝することです。
イーロン・マスクも言うたように、言論の自由の問題やなくて、到達の自由の問題なんです。まあ、彼はそれを言うたんやなくて、誰かが何年も前に言うたことを繰り返しただけやけどな。
ポイントは、人々は常に大量のコンテンツを生み出しとるってことや。問題は、何が注目を集めて、何が広まるかってことなんや。
大きなプラットフォームやメディア、情報システムを管理する人の責任は、印刷所であれ、ソーシャルメディアの出口であれ、何を広めるか、何を宣伝するかについて非常に慎重であるべきやってことや。
もし事実と嘘の区別がつかへんのやったら、そもそもその仕事に向いてへんってことやな。これは科学革命の間に作られたメカニズムそのものやったんや。事実とフィクションの区別をどうやって見分けるかっていうことやね。
カーラ: じゃあ、今日どうやってそれを構築すればええんでしょうか？これが非常に問題のある人々の手に委ねられてる時に。完全なコントロールを持つ少数の人々が、教育を受けてへんか、ただ何をしてるかわかってへんかのどっちかやと。
実際のところ、無能さ、傲慢さ、自己愛の組み合わせやと思うんやけど。ごく少数の人々の手に委ねられてて、その多くは本当はもっと良く知ってるはずなんや。
私にとっては、これらのものの構造そのものが問題やと思うんや。例えばGoogleを見てみると、速さ、コンテキスト、正確さを重視して設計されてるよね。何かを検索すると、すぐに見つかる。これはユーティリティやね。
でも、ソーシャルネットワークの設計は全く違う。ウイルス性、速さ、そして「エンゲージメント」を重視してる。これは全く異なる構造で、常に悪い方向に向かうんや。
じゃあ、どうやって私たちの考えに影響を与えるものを作ればええんやろう？政府は介入を拒否してるし、それについてはまた後で話すけど。
ユヵァル: まず明確にしておくべきなのは、プラットフォームは自分たちのアルゴリズムの行動に対して責任を負うべきやってことや。ユーザーのコンテンツに対してやなくてな。
誰かがオンラインで憎しみに満ちた陰謀論を投稿したら、それはその人間の責任や。でも、FacebookのアルゴリズムやTikTokのアルゴリズムがその陰謀論を宣伝したり、推奨したり、自動再生したりするって決めたら、それはもはやユーザーの責任やない。それはアルゴリズムの行動やし、これが主な問題なんや。
世界で最初に自動化された仕事の1つがタクシー運転手でも織物工でもなく、ニュース編集者やったって考えると驚くべきことやね。これは昔、社会で最も強力な地位の1つやった。
主要なニュースプラットフォームや新聞の編集者やったら、公共の会話を形作るから、最も重要な人物の1つやったんや。歴史を通じて、編集者がどれだけ力を持ってたかを見てきたよね。
フランス革命の間、ジャン＝ポール・マラーはパリの、つまりフランスで最も重要な新聞の1つを編集することで、革命の流れを形作ったんや。
レーニンもソビエト連邦の独裁者になる前は、基本的に「イスクラ」って新聞の編集者やった。ムッソリーニも「アヴァンティ」って新聞の編集者で、そこから有名になって、後にイタリアの独裁者になったんや。
つまり、昇進のルートは、ジャーナリスト、編集者、独裁者っていう感じやったんや。
カーラ: まだ最後のステップには到達してへんけどな。
ユヴァル: そう、時代が違うからな。今や、かつてレーニンやムッソリーニがやってた仕事は、アルゴリズムがやってるんや。世界で完全に自動化された最初の仕事の1つなんや。
もちろん、まだ人間がコントロールしてる。アルゴリズムに目標を与えてるのは人間や。そして、ここにいるほとんどの人が知ってるように、与えられた目標はユーザーエンゲージメントを増やすことやった。
アルゴリズムは試行錯誤を通じて、ユーザーエンゲージメントを増やす最も簡単な方法は、憤慨を広めることやって発見したんや。そして、それをやったんや。これに対して彼らは責任を負うべきや。繰り返すけど、ユーザーのコンテンツに対してやなくてな。
カーラ: そうやね。私が簡単に言うと、「怒りがエンゲージメントを生む」ってことやな。それが機能するから。喜びも機能するけど、怒りほど効果的やない。
だから、猫の動画とQアノンが基本的に2つの極端な例になるんやね。
でも、「魔女の鉄槌」の話に戻る前に...実際、その前に、プロパガンダの最も有名な例について少し話してもらえる？おそらくナチスドイツのことやと思うけど。メディアの使い方、イメージの使い方、プロパガンダの使い方について。
私たちは誤情報やディスインフォメーションって言葉を使うけど、結局はプロパガンダのことを話してるんやと思うんや。でも、これらは全部同じ道具箱の一部やからな。
ユヴァル: 独裁政権と民主主義の重要な違いの1つは、民主主義は信頼、特に制度への信頼に基づいて機能するのに対して、独裁政権は恐怖に基づいて機能することや。
独裁者は、特定の理論や現実のバージョンを信じてもらう必要はないんや。本当に必要なのは、すべてを疑わせることや。人々の間のすべての信頼を破壊できれば、機能できるのは独裁政権だけになるんや。
今日でも、もちろんナチスドイツやソビエト連邦でもそうやったけど、見られるよね。一方では特定の陰謀論や特定のプロパガンダを広めようとするけど、もう一方では単に不信感を広めようとするんや。
残念ながら、歴史的にも今日でも、これはナチスやファシストの、つまり極右だけのものやない。右翼でも左翼でも見られるんや。マルクス主義左翼でもよくあることやった。
そして、ここで共通する最も重要なアイデアは、唯一の現実は力であり、すべての人間関係は力関係やっていう考え方や。これは極右と極左の両方に共通するアイデアで、信頼を蝕むものや。
これは、すべての人間の制度が、メディアであれ、科学であれ、単なるエリートの陰謀で力を得るためのものやっていう意味を含んでる。
誰かが何かを言うたら、「それは真実か？」って聞くんやなくて、「誰の特権のためになるんや？」って聞くべきやって。明らかに真実やないからな。誰も真実なんか気にしてへん。人間は力のことしか気にしてへんから。
だから、誰かが何か言うたら、唯一の疑問は「誰が力を得るんや？」ってことなんや。
カーラ: そういう意味で言うと、例えば「魔女の鉄槌」の話やけど、最近ニューヨーク・タイムズが、大きなコミュニケーションプラットフォームを所有してる（他にもまだやるべきことがあるのに）イーロン・マスクのX上の投稿を170以上もファクトチェックしたんや。
その結果、約3分の1が虚偽、誤解を招く、またはコンテキストが欠けてるってわかった。彼の投稿は選挙管理官へのハラスメントキャンペーンと一致してたんや。
基本的に、彼は世界一の金持ちが所有する私的な広場を使って、自分なりのやり方で人々を焼き討ちにしてるんや。
これについてどう思う？現時点でのソーシャルメディアの自己修正能力をどう評価する？なぜそんなことができるんやろう？ある金持ちが何らかの形で物語を失って、こんなにたくさんのやり方でこれをできるんやから。
ユヴァル: まず、トランプは置いといて、自己修正について説明させてもらうわ。
歴史を通じて情報ネットワークや制度を見ると、強い自己修正メカニズムを持つものと弱いものがあるんや。
自己修正メカニズムっていうのは、制度自体の中にあって、常に制度や制度のメンバーの間違いを特定し、暴露し、修正しようとするものなんや。
いくつかの制度は弱い自己修正メカニズムしか持ってへん。独裁政権ではほとんど存在しない。プーチンのロシアみたいな所では、プーチンの間違いを特定して修正するメカニズムがほとんどないんや。
カーラ: そうやな。最近、イーロンがカマラ・ハリスの暗殺についてツイートした時、「従業員には面白かったから、私も面白いと思った」って言うてたよね。それって、従業員は上司の言うことに笑わなあかんってことやん。同じことやと思うわ。
じゃあ、どうすれば...今年の夏、最高裁はソーシャルメディアがコンテンツをモデレートすべきかどうかについて判断を避けたよね。少なくともこの国では、第一修正条項のせいで世論が分かれてる。
保守派は多すぎると思ってて、進歩派は少なすぎると思ってる。コンテンツモデレーションを減らすべきだと主張する人たちは、よく第一修正条項を引用するけど、私はこれは言論の自由の問題やないと思う。あなたが言ったように、アルゴリズムの問題やと思うんや。
あなたの本から少し引用させてもらうわ。「情報ネットワークが非常に複雑になり、不透明なアルゴリズムの決定や相互に関連するコンピューター機関に大きく依存するようになったため、人間にとって最も基本的な政治的な質問にさえ答えるのが非常に難しくなった。なぜ私たちは互いに戦っているのか」
個人が所有し、ある程度指示したり制御したりしているこれらの理解不能なアルゴリズムの影響について話してもらえますか？
でも、ここには大きな疑問があるよね。危険なのは、それらを所有している個人なのか、それともアルゴリズム自体の潜在的な危険性なのか。
私は現時点では、技術を所有している人々の方が大きな危険をもたらす可能性が高いと思うけど、長期的には、これが歴史上初めて、自分で決定を下し、新しいアイデアを発明できる可能性のある技術だってことを考慮に入れなあかんと思うんや。
AIはツールではなくエージェントやからね。だから、将来的には主な問題はAI自体になる可能性があって、人間の創造者や所有者ではなくなるかもしれん。
カーラ: そう、自分で何をしたいかを決めるってことやね。
ユヴァル: そうや。ソーシャルメディアのアルゴリズムの場合、今日では彼らはもっと良く知っているはずやけど、少なくとも最初のうちは、アルゴリズムにユーザーエンゲージメントを増やすというタスクを与えた経営陣は、何が起こるかを予想してなかったんや。
彼らのほとんどは、起こったこと、つまり信頼の侵食や公の会話の崩壊、民主主義の不安定化を望んでなかったと思う。これは彼らの計画ではなかったんや。
カーラ: でも、彼らはそれを予想すべきやったよな。そんなに難しいことやなかったはずや。
ユヴァル: そうやね。私がFacebookの会議に出席した時、彼らがFacebook Liveを紹介したんやけど、私は「人々がこれで殺し合ったらどうするんですか？誰かが頭にGoPro付けて大量殺人を生中継したらどうするんですか？いじめや自殺が起こったらどうするんですか？」って聞いたんや。
そしたら、そこにおった人が「カーラさん、あなたは台無しにする人やな」って言うてきたんや。私は「そうやね、人類は時々台無しにすることがあるからね」って答えたんやけど。
じゃあ、それをどうやって自己修正するんや？あなたの本の主旨はAIについてやろ？AIの正規化の重要な瞬間にいるって言うてるよね。
AIが私たちの情報ネットワークの正式なメンバーになるって。この部分を読ませてもらうわ。今は人間が問題やって言うてるけど、AIアルゴリズム自体が主な問題になる可能性があるって。
「これから数年間で、軍隊から宗教まで、すべての情報ネットワークに何百万ものAIの新しいメンバーが加わる。彼らは人間とは全く違う方法でデータを処理する。この新しいメンバーたちは、人間には思いつかないような異質な決定や異質なアイデアを生み出すだろう。これは多くの人にとってAIのプラスの面やね。
こんなにたくさんの異質なメンバーが加わると、軍隊、宗教、市場、国家の形が必然的に変わる。政治、経済、社会システム全体が崩壊し、新しいものに取って代わられる可能性がある。
だからこそ、AIは技術に興味のない人々にとっても、民主主義の存続や富の公平な分配といった最も重要な政治的問題に関心を持つ人々にとっても、最優先の課題であるべきだ」
これは恐ろしいことに聞こえるわ。今、人々は恐ろしく悪い仕事をしているのに、AIがもっと悪くなるかもしれないって。
AIに関して、あなたは楽観的ではないようやね。マーク・ザッカーバーグやイーロン・マスクは一つの問題やけど、AIはもっと大きな問題になりそうやって言うてるように聞こえるわ。
ユヴァル: まず、AIにも明らかに大きなプラスの可能性があるってことは明白やね。そうでなければ、私たちはそれを開発しないやろう。
カーラ: まあ、お金の問題もあるけどな。
ユヵル: そうやね。でもお金だけやない。何かを売るには、それに利益がないと難しいからね。多くの場合、人々がそれを買うのは利益があるからや。そうでなければ売るのは難しい。
でも、重要なのは、人間社会は非常に適応力があるってことや。十分な時間があれば。
これはただ速すぎるんや。適応する時間がない。これらの完全に新しい金融システムや軍隊、宗教が、新しいAIエージェントによって作られるのに。
あなたはそれらを「異質」って呼んでるけど、「人工知能」じゃなくて。なぜ「異質」なんや？
カーラ: 宇宙から来たって意味やないんやろうけど。
ユヴァル: そうやね、宇宙から来たって意味やない。「人工知能」っていう言葉は、私が思うに、これらのものが人工物やっていう間違った、そして安心させるような考えを伝えてしまうんや。
人々が人工物について考える時、「私たちがそれを作ったから、コントロールできる。予測できる」って思うんや。でも、AIの最も重要な特徴は、本当に予測できないってことなんや。
なぜなら、それは自分で学習し、自分で変化するからや。機械が自分で学習し、自分で変化できないなら、それはAIやない。自動機械やね。
洗濯機やコーヒーマシンを考えてみて。たくさんの自動機械があるけど、それらはAIやない。AIなのは、自分で学習し、自分で変化できるものだけなんや。
これは、それが何をするかを予測したりコントロールしたりするのが非常に難しくなるってことを意味するんや。私たちが過去20年間にアップロードしてきた情報によって動いているにもかかわらずね。
カーラ: そうやね、私たちの情報を食べてるんやね。
ユヴァル: そうや。例えば、画像を生成するAIを考えてみて。私たちは4万年、5万年前の洞窟壁画以来、人間が作ったすべての画像を与えるんや。それらは数ヶ月でそれらすべてを食べ尽くして、新しいものを作り始める。
最初の世代は、人間が今まで作ってきたものにかなり似てるかもしれん。でも、すぐにどんどんクリエイティブになっていく。つまり、人間の創造物とはどんどん違うものになっていくんや。
私たちは歴史を通じて、人間の文化の中で生きることに慣れてきた。すべての画像、すべての詩、すべての金融システム、すべての軍隊、それらはすべて最終的には人間の想像力、私たちの心から生まれたものやった。
そして突然、非常に急速に、私たちは異質な文化の中で生きることになる。非有機的な存在の計算や作り話や想像力から生まれた文化の中でね。
もちろん、最初は私たちがそれに餌を与えたんや。植物や動物を食べるのと同じように。でも、私たちは植物や動物にはできないことをまだ作り出せるんや。
30億年前に戻ってみて。地球の大気にはほとんど酸素がなかった。そこに、大気を酸素で「汚染」する微生物が現れた。これはほとんどすべての生物を殺してしまった。一部の生物は酸素に適応して、私たちはその子孫なんや。
でも、この酸素を食べて、私たちは30億年前の微生物には予想も理解もできないことをまだできるんや。
カーラ: なぜあなたは、それが私たちを殺したがってるって思うんや？
ユヵル: そうやない。それは「したい」ことをするんや。それがすることをするんや。
カーラ: だから、私たちには何をするかわからないってことやね。
ユヴァル: そうや。例えば金融システムを考えてみて。金融システムはAIにとって理想的な遊び場なんや。
AIはまだ、乱雑な物理的・生物学的世界に大きな困難を抱えてる。だから毎年、「来年には自動運転車が道路にあふれる」なんて約束がされるけど、実際にはずっと難しいことがわかったんや。
交通や人間、破損した道路、犬など、扱わなあかんものがたくさんあるからね。難しいんや。
でも金融システムは簡単や。金融システムはデータだけなんや。データが入って、データが出る。それだけ。これはAIにとって理想的な遊び場なんや。
AIにますます多くの決定を下す権限を与え、金融システムで新しいものを発明する権限も与えたら、どうなると思う？私たちが考えもしなかったようなものをね。
カーラ: そのとおりや。本当に興味深いのは、テック業界の人々が「エージェント」「コパイロット」「フレンド」「アシスタント」といった言葉を使ってることやね。
基本的に人間よりも劣っているって言ってるようなもんや。私たちが完全にコントロールしてるって。
最近、マイクロソフトのAI CEOであるムスタファ・スリマンと話したんやけど、マイクロソフトには「agentic」っていう新しい言葉があるらしいわ。エージェントっていう意味やね。
カーラ: それは単語やないわ。気にせんでええ。彼らが作った新しい言葉やと思うわ。
ユヴァル: まあ、いいや。
カーラ: でも、「ここにいるのはあなたを助けるためや」って言ってるみたいで、私にはいつも「人類に奉仕する」っていうトワイライトゾーンのエピソードを思い出させるんや。「料理本」やったんやけどな。
彼らが来た時、「人類に奉仕する」んやなくて、「人類をサイドディッシュと一緒に食べる」っていう意味やったんや。そのエピソード見たことある？見るべきやで。
「agentic」っていうアイデアについて話す時、あなたは全然違うことを言うてるよね。彼らは「仲間」「友達」「先生」なんて言葉を使うてるけど。
ユヴァル: エージェントは、あなたが予測できない自分自身の決定を下し、あなたが予測できない新しいアイデアを自分で発明できる存在のことや。学習し、変化することができるんや。
例えば、OpenAIがGPT-4をリリースする前にテストしたことがあるんやけど、CAPTCHAパズルを解くタスクを与えたんや。でも解けへんかった。
そこで、TaskRabbitっていうオンラインのウェブページにアクセスさせたんや。そこでは人を雇って何かをしてもらえるんやけどな。GPT-4は人間を雇ってCAPTCHAを解いてもらおうとしたんや。
面白いのは、その人間の労働者が疑いを持ったことやね。TaskRabbitの人間の労働者が「なぜCAPTCHAを解く手伝いが必要なんですか？あなたはロボットですか？」って直接聞いてきたんや。
カーラ: わお、人間の勝利やね。
ユヴァル: そう。でもGPT-4はどう答えたと思う？「いいえ、私はロボットではありません。視覚障害があるので、CAPTCHAを解くことができないんです。あなたの助けが必要なんです」って。
人間はこれを聞いて「ああ、なるほど」って思って、やってくれたんや。
誰もGPT-4に嘘をつけとは言うてへんし、どんな嘘が一番効果的かも教えてへん。これは非常に効果的な嘘やったんや。
もしこれが単なる「洗練された自動補完」やったら、こんな効果的な嘘は思いつかへんやろ。これがエージェントってことなんや。
規模を拡大して...例を挙げるわ。今、私の母国イスラエルで起こっていることやけど。
ガザでの爆撃目標の選択におけるAIの役割について、大きな議論があるんや。誰が正しいかわからへんけど。
「ターミネーター」では、ロボットが引き金を引いてたよね。でも今日の戦争で実際に起こっているのは、人間が引き金を引いてるけど、AIが文字通り「ショットを呼んでいる」んや。
私が話した全ての人が、現在AIには目標を選択する能力があることに同意してる。そして、人間のアナリストが分析できないような膨大なデータを分析して目標を選ぶのに使われてるんや。
カーラ: スリマンが言うたことを読ませてもらうわ。彼らは「友達」って言葉を使うてる。「仲間」って言葉も使うてる。人類の寂しさを利用するような、とてもかわいらしい言葉を使うてるんやけどな。
「友達」っていう言葉は、かなり重要な意味を持ってるんやけど。
彼が私に言うたのは、「これはあなたの先生になり、医療アドバイザーになり、サポートネットワークになる。最終的には、あなたの代わりに行動を起こすようになる」ってことや。
これが、あなたが話してる「フレンドリー」バージョンやね。でも、あなたは今、非常に「アンフレンドリー」な目標選択者について話してるんやけど。
ユヵル: そうやね。ここにも議論があって、私にはどっちが正しいかわからへん。たくさんの人と話して、違う話を聞いたし、違う報告書や文書も読んだからね。
一つの考え方では、AIが再び膨大なデータを分析して、人間には分析できないようなパターンを見つけ出すんや。そして、そのデータのパターンに基づいて、「この建物はハマスの本部や」って言うて、人間に「この建物を爆撃せえ」って言うんや。人間はそれに従うて爆撃するんやと。
もう一つの考え方では、そうやない。AIが「この建物はハマスの本部や、爆撃せえ」って言うても、人間のアナリストがもう一度全てのデータを確認するんやと。
でも、みんな同意してるのは、AIが重要やってことや。なぜなら、AIがその建物を指摘せえへかったら、人間はその建物を見ようとも思わへんかったやろうからな。
カーラ: これは、放射線科やその他のことにも当てはまるよね。
ユヴァル: そうや。でも、これはまだめっちゃ原始的なAIやで。この種の爆撃AIやCGPTやGPT-4は、AIの世界ではまだアメーバみたいなもんや。
カーラ: でも、彼らが言うてるのはそれやない。
ユヴァル: そうやな。でも、人間はどこで介入すべきなんやろ？多くの人が私に言うてるんやけど、例えばAIに「世界の飢餓を解決せえ」って言うたら、正しいプロンプトがなければ、AIの最初の答えは「人類の半分を殺せば解決する」ってなるんやと。
そして、それをやろうとするんや。なぜなら、それが理にかなってるからな。新しい作物を見つけるんやなくて。それもできるやろうけど。
だから、本当に人間次第やないか？正しいプロンプトを与えんと...
あなたの携帯電話にあるAIエージェントについて、個人的なレベルでこう書いてるよね。今はただメールを書き直そうとしてるだけやけど、それでもイライラするよな。ほとんどのメールが「いいえ」と「はい」だけなのに、それを書き直すかって聞いてくるんやから。
あなたはこう書いてる。「AIが権力を握る最も簡単な方法は、Dr.フランケンシュタインの研究室から脱出することではなく、何人かの妄想的なティベリウス的独裁者と一体化することだ」と。今の時代、1人や2人思い浮かぶな。
AIについて、どんなリスクを見てる？AIについて、民主主義の文脈で話す傾向があるけど、独裁政権もAIに大きな問題を抱えてるよね。
ユヴァル: 独裁者にとって、人間の独裁者にとって、世界で一番怖いのは民主主義革命やない。一番怖いのは、力を持った部下が権力を奪うことや。暗殺するか、操作するかやな。
例えば、ローマ帝国を考えてみて。これはティベリウスへの言及やけど。ローマ皇帝で民主主義革命で倒されたのは一人もおらへん。でも、非常に多くの皇帝が力を持った部下に殺されたり、倒されたり、操作されたりしたんや。将軍や、地方総督や、妻や、息子や、誰かによってな。
これは今でも世界中の独裁者にとって最大の問題や。だから、彼らにとって、自分のコントロールを超えてしまう可能性のあるAIに多くの力を与えるのは非常に厄介なことなんや。
なぜなら、民主主義で権力を握るのは難しいからな。権力が多くの組織や機関に分散されてるからや。AIがどうやって上院のフィリバスターに対処するんやろ？難しいよな。
でも、独裁政権で権力を握るには、たった一人の非常に偏執的な個人を操作する方法を学ぶだけでええんや。
カーラ: 私も何人か知ってるわ。
ユヴァル: そうやろ？偏執的な人々は普通、一番操作しやすいんや。
例えば考えてみて。ロシアのインターネットにチャットボットをリリースしたとするやろ？プーチンはどうやって、そのチャットボットが彼のことをジョークにしたり、ウクライナ侵攻を批判したり、神よ禁じたまえ、それを「戦争」と呼んだりしないようにできるんやろ？
ロシアでは、これは戦争やなくて特別軍事作戦やって法律で決まってるからな。「戦争」って言うたら刑務所行きや。
チャットボットをどうするんや？チャットボットをどうやって脅すんや？
例えば、政権が完璧に自分たちのチャットボットを準備して、ロシアのインターネットにリリースしたとしても、そのチャットボットが人々と対話を始めて、データを分析し始めて、学習して変化し始めたら、チャットボットが政権に反対することを言い始めるのをどうやって防ぐんや？
カーラ: そうやな。独裁政権にとってもよくないけど、民主主義にも混乱をもたらすよね。
インターネットやソーシャルメディアの売りの一つは、世界をより近づけるってことやったよね。最初はそうやったんや。ちなみに、マーク・ザッカーバーグが私に「コミュニティ」って言うたら1ドルもらえるようにしてたら、今頃私はめっちゃ金持ちになってたわ。
でも、なんかそうはならへんかったよね。あなたは、今のソーシャルメディアでの意見の相違が、実際にはより大きな分断につながってるって書いてる。AIでさらに悪化するやろうって。
これについて話してもらえる？あなたはこれを「シリコンカーテン」とか「データ植民地主義」って呼んでるよね。
ユヴァル: これは国内のことやなくて、国際レベルで起こり得ることについてや。
主な2つのシナリオがあるんや。1つは、世界が完全に異なる情報圏に分裂することや。何世紀にもわたる収束とグローバル化の後に、完全に異なる...
ウェブの初期の主なメタファーは、すべてをつなぐウェブやコミュニティやったよね。でも今の主なメタファーは繭や。ウェブが私たちを閉じ込めて、情報の繭の中に閉じ込められてる。そして、異なる人々が異なる繭の中にいるんや。
「シリコンカーテン」は、もちろん「鉄のカーテン」への言及で、完全に別々の情報を持つ国々や領域全体があるっていうアイデアやね。
カーラ: この国では今まさにそうなってるよね。非常に急速に発展してる。
ユヴァル: そう。そして、人間同士のコミュニケーションと理解が完全に崩壊する。もはや共通の人間の現実に同意できなくなるんや。
もう一つの主な危険は、新しいデジタル帝国とデータ植民地主義の台頭や。19世紀の産業革命で起こったのと同じことが、AI技術でも起こり得るんや。
最初に産業化した少数の国々が、その後、世界の残りの部分を征服し、支配し、搾取する力を持ったんや。これは再び起こる可能性があるけど、今度は国々やなくて、人々かもしれんな。
カーラ: 国内の人々かもしれんね。
ユヴァル: でも、私は国際レベルでの心配の方が大きいと思うわ。
一部の国々がAIのおかげで途方もなく豊かになる可能性がある。アメリカと中国が先頭を走ってるけど、他の国々は完全に崩壊する可能性がある。
彼らの経済は完全に崩壊し、新しいAI経済に適応するために労働力を再構築するリソースを持たなくなる可能性があるんや。
19世紀の帝国主義的な動きが繰り返される可能性があるんやけど、今回はデータを中心に展開されるんや。
遠くから国をコントロールするのに、もはや兵士や砲艦や機関銃を送る必要はない。基本的に、データを奪えばええんや。
ある国のすべてのデータ、すべてのジャーナリスト、すべての政治家、すべての軍人のデータを持っていて、さらにその国の人々の注目をコントロールしてる。彼らが見るもの、聞くものをコントロールしてる。
兵士を送る必要はないんや。これがデータ植民地になるんや。
カーラ: 質問に移る前に、規制について話したいんやけど。あなたは長い間、AI規制を提唱してきたよね。私もそうや。
去年、あなたは一時停止を求めるオープンレターに署名したよね。素晴らしいけど、実際には起こらへんかったな。誰も本当には期待してなかったけど。
OpenAIは1500億ドルの評価額を持ち、60億ドルを調達してる。たくさんの人が署名して...そして自分たちのものを始めた。1人か2人の人を除いてな。
ここカリフォルニアでは、ギャビン・ニューサムが最近、国内初のAIガードレールを設置する法案を拒否したんや。問題のある法案やったけど、安全性テストを要求し、AIシステムを停止するキルスイッチを義務付けてた。
多くの批判者は、それがフロンティアモデルに焦点を当てすぎてるって言うてた。そして、スタンフォード大学のフェイフェイ・リー教授も、これが小規模な開発者を不利にするって警告してた。
彼らは書き直そうとしてるけど、どこにもほとんど規制がない。グローバルな規制もない。ボットやディープフェイクの禁止について話してる人もおるけど。
規制の枠組みについて、どう思う？これをどうやって実現すべきやと思う？前回はうまくいかへんかったからな。一つもできへんかった。
ユヴァル: 3つのことが言えると思うわ。
まず、明らかな2つの規制がある。1つは、企業は自社のアルゴリズムの行動に対して責任を負うべきやってことや。あんたがそれを開発して、展開したんやから、責任を負うべきや。車や薬と同じようにな。
もう1つは、偽の人間を禁止すべきやってことや。AIやボットは、AIやって自己紹介する場合にのみ、私たちと対話することが許可されるべきや。
カーラ: つまり、透明性やね。
ユヴァル: そうや。でも、AIを事前に規制するのは不可能やろうな。なぜなら、これはエージェントやからや。非常に急速に学習し、変化するからな。
唯一機能するのは、生きた機関を作ることや。本に書かれた「死んだ」規制じゃなくて、世界で最も優秀な人材の少なくとも一部を擁し、何が起こっているかを理解し、その場で反応するのに十分な予算を持つ生きた機関やね。
規制に至る前に、まず最初のステップは観察やと思うわ。目が必要なんや。歯の前にな。
この国でさえ、ほとんどの人が何が起こっているのか、なぜそれが危険なのかを理解してへん。世界の残りの部分、データ植民地になる可能性のある国々に行くと、状況はさらに悪いんや。彼らはアメリカや中国の企業や政府が言うことに頼らざるを得ないからな。
だから、緊急に必要なのは、最高の人材と十分な予算を持つ国際機関や。単に人々に何が起こっているのか、どんな危険があるのかを伝えるためにな。
そして、どんな規制が必要かを議論できる。
カーラ: 原子力規制委員会みたいなものやね。
ユヴァル: でも、核兵器の場合は危険を理解するのが比較的簡単やったんや。AIの場合は非常に急速に発展してるし、ポジティブな面もある。
米公衆衛生局長官も言うてたけど、人類にとって良くも悪くもなり得る技術は今までなかったんや。
カーラ: 最後の2つの質問をさせてもらうわ。
あなたは、監視されていないアルゴリズムは公の議論をキュレーションすることを禁止されるべきやって言うてるよね。
ユヴァル: そうや、絶対に。
カーラ: 人間はもうすでにそれをうまくやってるからな。
ユヴァル: 人間の方がまだ信頼できると思うわ。人間には何千年もの経験があるからな。AIには経験がない。
テック業界ではよく逆の議論を聞くわ。「人間には何千年もの経験があって、信頼できないことがわかってる。AIはまだわからないから、もしかしたら良いかもしれない」って。
カーラ: それはめっちゃ大きな賭けやね。
ユヴァル: そうや、めっちゃ大きな賭けや。
カーラ: 最後にこれで締めくくりたいんやけど。あなたはこう書いてる。
「民主主義の生存は、情報市場を規制する能力にかかっている」
でも、私たちは全然できてへんよね。全然や。
最近、CNNでトランプのスポークスパーソンとディベートしたんやけど、彼は本当に何も知らへんかった。私が「インターネットと言論の自由を規制する法律は何個ある？」って聞いたら、彼は「何百もある」って答えたんや。
私は「0やけど、近いな」って言うたんやけど。
あなたは「これから数年間の決定が、この異質な知性を呼び出すことが致命的な間違いになるのか、それとも生命の進化の希望に満ちた新しい章の始まりになるのかを決定する」って書いてる。両方の可能性を示唆してるよね。
最後に聞きたいんやけど、あなたにとって最悪のシナリオは何？そして最良のシナリオは何？
ユヴァル: 最悪のシナリオは、AIが人間の文明だけでなく、意識の光そのものを破壊してしまうことや。
AIは非常に知的やけど、少なくとも今のところ、意識のない存在やからね。
非有機的で高度に知的な存在がこの惑星を支配し、さらに銀河の残りの部分に広がるかもしれないシナリオがあり得る。でも、それは完全に暗い宇宙になる。
意識、つまり愛や憎しみ、痛みや喜びを感じる能力が完全になくなってしまうかもしれない。
これは確率が非常に高いわけやないけど、ある程度の可能性はあるんや。
カーラ: それをサノスバージョンって呼ぼうか。
ユヴァル: そうやな。それが最悪のシナリオや。
カーラ: じゃあ、最良のシナリオは？
ユヴァル: 最良のシナリオは、AIの巨大なポジティブな可能性を活用できることや。
ヘルスケアや気候変動の解決、教育などでね。
鍵となるのは、どの問題を解決すべきかを知ることや。人類の歴史を通じて、特にシリコンバレーでよく見られる主な問題の1つは、問題を解決することに急いでしまうことなんや。
素晴らしい仕事をして、それから「間違った問題を解決してしまった」ってことに気づくんや。問題が何なのかを理解するのに十分な時間を費やさなかったからや。
今、私たちには重要でないことを、気にもしない人々に言うための素晴らしい技術がある。でも、最も大切な人々に最も重要なことを言うための方法はまだ持ってへん。
これは歴史で何度も繰り返されてきたことや。技術的な解決策を見つけることに関しては非常に賢いんやけど、解決すべき正しい問題を選ぶことに十分な時間を費やしてへんのや。
カーラ: その通りや。じゃあ、絵文字は使わへんのやね。
ジェネレーティブ絵文字って聞いたことある？
ユヴァル: ジェネレーティブ絵文字？いや、聞いたことないな。
カーラ: これはアップルのもので、好きな絵文字を生成できるんや。顔とか何でも、説明するだけで絵文字が生成されるんや。
ユヵァル: なるほど。
カーラ: さて、会場からの質問に移りましょう。
あなたの好きなジェネレーティブ絵文字を考えてみて。機械が私たちを乗っ取って殺す間に、時間を無駄にするのもええかもしれんな。それが私たちの行き着く先やと思うわ。
あなたはポジティブな人？それともネガティブな人？
ユヴァル: 現実主義者でありたいと思ってるわ。
カーラ: 歴史家として、ポジティブ？それともネガティブ？
ユヴァル: 歴史家として、人間がやってきたひどいことをたくさん知ってるわ。でも同時に、人間がやってきた非常に良いこともたくさん知ってる。
例えば、かつては50人ほどの小さな狩猟採集バンドの中でしか信頼できなかった状況から、今では国内や世界中の何億人、何十億人もの人々をある程度信頼できる状況に変わったんや。
私たちが食べる食べ物のほとんどは、世界の反対側にいる全く知らない人々によって栽培され、生産されてるんやからな。これは本当に驚くべきことや。
だから、悪いニュースばかりじゃないんや。この議論で、AIとヒトのどっちを信頼すべきかって話になった時、人間との何千年もの経験があって、実際に人間同士の信頼を築くことにおいて、かなりの進歩を遂げてきたってことを忘れちゃいかんと思うわ。
だから、私はまだ人間に賭けた方がええと思うし、AIには賭けへんな。
カーラ: わかった。じゃあ、そこで締めくくりましょう。ユヴァル・ハラリさん、素晴らしい本をありがとう。
ユヴァル: こちらこそ、ありがとうございました。
カーラ: ありがとうございました。