「人生は今後3年で奇妙になる!」 - AIの未来、人類、ユートピア対ディストピア | ニック・ボストロム

※長文のため、テキストの読み上げ機能の使用を想定しております。各OS標準搭載のアクセシビリティ機能(読み上げコンテンツ)でも良いですが、個人的にはMicrosoft Edgeブラウザの「音声で読み上げる」機能をおすすめします。

ある極端な例として、人間とまったく同じ機能を持つAIがあったとしましょう。80年間生きて、人間のような体を持ち、人間のような記憶を持ち、生物学的な脳とよく似た構造の人工の脳を持っているとします。その場合、それを道徳的な主体として扱うべきだという強い道徳的な根拠があると思います。虐待したり残酷に扱ったりするのは間違いだということになるでしょう。
ニック・ボストロム、番組へようこそ。
お招きいただきありがとうございます。
さて、文字言語は法律や税金などを記録できるので国家の誕生につながりました。印刷技術は宗教的迫害や戦争を引き起こしました。インターネットは分散型メディアと陰謀論の時代をもたらしました。AIは何をもたらすでしょうか?
いくつかの可能性があると思います。一つは、AIの精神が人間の起源から切り離され、未来を形作り支配するというものです。大まかに言えば、私たちが類人猿やネアンデルタール人から切り離されたのと同じような感じです。しかし、AIツールを備えた人間社会を想像すると、集権化を促進し、より極端なものにする力学があるかもしれません。現在、独裁者のような全体主義システムであっても、独裁者は一人では統治できません。独裁者であっても、最低でも人口の一部、少なくとも治安部隊や軍隊、あるいは主要な家族などの支持が必要です。つまり、10%程度の支持があれば統治できるかもしれません。しかし、警察や軍隊の自動化により、さらに権力が集中する可能性があります。国民の様子をより良く監視し、支配者に対する国民の意見や行動、政治的感情を把握する能力が向上するでしょう。これにより、権力の集中がさらに進む可能性があります。これが一つの可能性のある力学です。
もう一つは、現在のミーム的な力学がAIによって増幅され、より強力になるというものです。私たちの心を乗っ取るような超刺激、つまりスーパーミームや魅力的なバーチャルリアリティの世界が開発され、人々が現実世界から離れてそこで全ての時間を過ごすようになるかもしれません。実際、テレビやソーシャルメディアに何時間も費やす人々を見ると、ある程度そうなっていると言えます。これがより高度な技術によって次のレベルに引き上げられる可能性があります。
これらが、懸念すべき否定的な力学の一部です。
あなたは『ディープ・ユートピア』という本を書きましたね。AIがうまくいった場合についての非常に興味深い探求です。しかし、そのアイデアに触れると、私はそのようなユートピアに住みたいかどうか、そしてユートピアが本当に良いことなのかどうか疑問に思い始めます。ディープ・ユートピアについて触れる前に、ユートピアを定義していただけますか? 一般的なユートピアの定義と、このディープ・ユートピアのアイデアを対比させてみましょう。
はい、一般的にユートピア文学では、人々が理想の社会の青写真を描くことが多いです。完全に公平な社会、誰もが十分に持っていて全てが素晴らしい社会についてのビジョンを持っています。このようなユートピア文学は、最近ではあまり評判が良くありません。それには正当な理由があります。こうした社会的ビジョンを持つ人々が実際に実現する権力を得ると、大きな混乱と悲惨さをもたらしてきたからです。特に前世紀後半、ソ連や Nazi の実験、そして狂った思想に基づいた他の体制が大規模な人間の悲劇をもたらした後、人々はこうした社会の大きなビジョンに対して懐疑的になりました。
これが伝統的なユートピアの意味です。ディープ・ユートピアについては、私はその言葉を使っていますが、それは哲学的な問いに興味があるからです。つまり、現在の制約から抽象化して、理想的な人間の生活とはどのようなものか、という問いです。超先進的な技術があり、AIやロボットが全ての仕事をこなし、非常に高度なバイオテクノロジーによって私たちの体や心、精神状態を前例のないほどコントロールできるとします。そして、政府も非常にうまく機能していると仮定し、戦争や抑圧がないとします。そのような条件下で、本当に素晴らしい人間の生活はどのようなものでしょうか。
そこで、あなたが言及した「このような世界に本当に住みたいだろうか」という問いに戻ります。なぜなら、現在私たちの尊厳や価値の感覚、人生を満たすものの多くは、私たちの努力が必要とされているからです。あなたは稼ぎ手であることや、世界全体あるいは家族に対して積極的な貢献をしていることを誇りに思うかもしれません。あなたは何かを提供する価値ある人間だと。しかし、私たちが自分自身を道具的に有用な貢献ができる能力によって定義している限り、AIが私たちよりも全てをうまくできる世界では、それは私たちの自尊心への脅威となります。人間が冗長になる世界に近づくにつれ、私たちは価値観の多くを根本的に再考する必要があるでしょう。
これらの価値観は可塑的だと思いますか? それとも、脳内で動いている「進化のアルゴリズム」の反響だと考えますか?
私たちの価値観はそのままですが、表面的な価値観と、それを支える深い価値観を区別できるかもしれません。私の望みは、多くの表面的な価値観はこの「解決された世界」では意味をなさなくなるため放棄する必要があるかもしれませんが、より深い価値観は今日よりもより完全に実現できるようになるかもしれないということです。これらの制約を取り除けば。
人々が持つ可能性のある様々な価値観について検討し、それらがこの「解決された世界」で実現可能かどうかを見ていくことができます。最も単純な価値観から始めると、純粋に快楽主義的な主観的幸福、つまり楽しむことがあります。これは「解決された世界」では簡単に実現できるでしょう。非常に高度な神経技術があれば、快楽だけを求めるなら副作用のないスーパードラッグで好きなだけ快楽を得られます。あるいは人間の脳にもっと直接的に介入する方法もあるかもしれません。楽しむことや気分が良いことだけなら、すぐにチェックマークが付けられます。
他の価値観についても同様に検討できますが、意味、目的、重要性といった価値観になると問題が出てきます。全ての問題をより良く解決できる機械があるなら、私たちの人生に目的を与えるものは何でしょうか? もし何もする必要がないなら。人生には意味や目的が必要だと考える人にとっては、この「解決された世界」の方が実際には悪い人生になるかもしれません。なぜなら役に立つことがないからです。
ただし、目的の主観的な感覚と客観的な感覚を区別する必要があります。主観的な感覚、つまりモチベーションや推進力を感じ、何かを目指して頑張っているという感覚は、これらの非常に高度な神経技術があれば簡単に実現できるでしょう。しかし、客観的な目的、つまり単に何かをしたいと感じるだけでなく、実際に行う必要があるという要素については、「解決された世界」で持つことができるかどうかははっきりしません。本当にユートピアならほとんどの問題は解決されているはずですし、残された問題も人間よりも機械の方がより良く解決できるでしょう。技術的に成熟した社会では。
AIに関する私の不安は全て、人間が生物学的に作り替えられない限り避けられない一つのアイデアに基づいています。それは、幸福の追求ではなく、追求から幸福が生まれるということです。進化の観点から考えると、私たちは何十万年もの間、生存のために非常に困難なことをしなければならないように設計されてきました。そして進化には、私たちにそうさせるために快楽と苦痛しかありません。だから、自分だけでなく他の人にとっても価値のあることを目指して一生懸命働き、成功しそうだと感じる瞬間、たとえまだ実際に成功していなくても、それが人生で最高のものだと思うのです。人々が何かを追求していて、それが意味を与えるとき、本当に良い気分になります。一生懸命働いていないか、ただ物事を与えられているか、あるいは一生懸命働いているけれど誰もが必要なものを既に持っていて、あなたが貢献できることが何もない瞬間、根本的に腐食的な実存的な疑問が生まれます。「なぜ自分は重要なのか? そもそもなぜ存在するのか?」と。もし私たちが人々にそのような疑問を抱かせるような社会構造を作ってしまったら、本当に大変なことになると思います。この根本的な前提に欠陥があると思いますか?
現在の私たちの心理に関する観察としては、ある程度の真実があると思います。現代社会の不調の一部は、私たちの進化の過程で常に存在していた生存の圧力や機会の欠如によるものかもしれません。例えば、肥満は冷蔵庫や豊富な食料、ファストフードの機能によるものでしょう。狩猟採集民の時代にはあまり問題ではありませんでした。私たちの生理と現在の環境との間にはミスマッチがあるのです。それは精神的にもある程度当てはまります。人間がこれほど異なる環境でも驚くほど適応できていることは素晴らしいことですが。
ここで重要な問いは、あなたが描写したこの目的を持った努力を、精神的健康と良い感情をもたらすから価値があると考えるのか、それともそれ自体に価値があると考えるのかということです。現在はこれらを区別する必要はありません。なぜなら、あなたが描写したような困難なことをすることでしか、精神的健康と幸福を得られないからです。しかし、私が『ディープ・ユートピア』で探求している仮説では、これら二つの要素を切り離すことができます。努力をせずに、まったく同じ満足感や達成感、エネルギッシュなリラックス感など、努力から得られるものと同じものを得られる完璧な薬があるとします。
もう一つの方法は、人工的な目的が自然なものの十分な代替になり得るかどうかです。本物の目的とは、例えば虎に追いかけられていて、全力で走らないと食べられてしまうというようなものかもしれません。そこには非常にリアルな賭け金があります。それは単に勝手に作り出したものではなく、虎があなたを追いかけているという状況があれば、あなたは何をしなければならないかを知っています。それは与えられたものであり、非常にリアルな目的です。
それに対して、ゲームをしている人を考えてみましょう。彼らは本当に勝ちたいと思っているかもしれません。しかし、ある意味でゲーム自体は人工的な目的です。ゴルフをしている場合、ボールがこの順序で穴に入らなければならない理由は、単に私たちがそうしようと決めただけです。私たちは無作為な目標を作り出し、その目標を受け入れれば、それを達成しようと一生懸命努力するという目的ができます。人々はゴルフの技術を完璧にするために何十年も努力し、大きな満足を得ることができます。しかし、ある意味で全体的に作り出されたもの、人工的なものです。
しかし、次の思考実験を考えてみてください。もしゴルフをプレイしても誰も知らず、誰も見ず、誰も自分が他の人より上手だということを知らないとしたらどうでしょうか。それは社会的地位の代理だと思います。つまり、あなたはヒエラルキーの中で上昇しようとしているのです。そこで問題となるのは、ここには乗り越えなければならない大きなハードルがありますが、全てが整っているとしましょう。あなたが先ほど定義したようなユートピアがここにあり、私たちは何も欲しいものがなく、全てが平等だとします。そうすると、人々は地位ゲームに十分興味を持ってそれを楽しむでしょうか? それとも、これは全て単なる地位ゲームに過ぎないと考え、深い空虚さを感じるでしょうか?
私たちには、その質問に答えるヒントが現在すでにあると思います。今、信じられないほどのビデオゲームがあります。40代でMinecraftを発見した私としては、子供たちがそのゲームが存在する世界で育つことができるなんて信じられません。しかし、それでも私がプレイしていて、それが単にプレイしているだけで何かにつながっているように感じられないなら、ある種の空虚さがあります。これは大きな問題の一部ですが、特に西洋を席巻している男性の無意味感の一部だと思います。
あなたが提起している質問はそれです。私たちはそれが望むほどうまくいかないという十分な兆しがあると思います。しかし、それに至る前に問われるべきより重要な質問があると思います。それは、現在の価値観を持つ人間が、今の脳の配線のままで、AIが自分たちを今日の基準では無関係にする世界につながることを見たとき、それを受け入れるのか、それとも激しく反発するのかということです。
私が推測するに、おそらくより可能性が高いのは、私たちがそれに誘惑されることです。この場合、部分的には経済的な影響があります。人々は仕事を失うかもしれません。あるいは自動化が進むにつれて賃金が下がる圧力がかかるかもしれません。興味深いことに、今回の場合、最初は特定の種類のホワイトカラーの仕事に影響が出るかもしれません。従来、自動化は主に低スキルの労働者に影響を与えていましたが、現在の言語モデル技術は、中級レベルのホワイトカラーの仕事、例えば文書を要約する仕事などに直接影響を与えるようです。
興味深いことに、AIが広範囲の仕事を自動化することに成功すれば、大規模な経済成長も起こるでしょう。これは、ある程度、失業の経済的影響を相殺するかもしれません。経済が好調であれば、税収が増え、まだ自動化されていない他のセクターでの需要が高まり、人々は庭師を雇ったり、祖父母の看護師を雇ったりするのにより多くのお金を使えるようになるかもしれません。
しかし、依然として意味や目的、社会的地位に関する問題は残ります。この文脈で、AIの社会的コンパニオンについて考えています。AIの社会的コンパニオンボットが、別の種類の...
それはセックスボットの婉曲な言い方ですか?
それも含まれますが、友人やファン、社会的交流の様々な要素も含まれます。ある種の偽の地位さえも含まれるかもしれません。あなたが言ったように、現実世界で高い地位を感じたいと思っても、実際にはそうではなく、ただフラストレーションを感じる経験になるかもしれません。地位のヒエラルキーで一段階上がるために何年も何十年も努力するのではなく - 例えば、ジムで自分を追い込んでわずかに良い体を手に入れたり、教育を受けたりするなど、これらの達成は困難で時間がかかります - その代わりに、完全にリアルな仮想キャラクターがいる仮想世界にアクセスできるとしたらどうでしょうか? そこであなたは王様を演じ、賞賛する
デジタルキャラクターたちに囲まれています。それが十分に良いものになれば、人々にとって非常に魅力的になるかもしれません。
同じ理由で、ドラッグが本当に魅力的なのと同じです。実際、あなたの現実の生活が悪ければ悪いほど、アヘンのような代替案はより魅力的に見えるでしょう。それはあなたをある種の...そう、私は今後数年間でこのAIの社会的コンパニオン技術が非常に急速に進歩すると思います。
それはオンラインデートのようになると思いますか? 最初は人々は奇異に感じますが、その後単に規範になるという感じで。
そうですね、疑問です。一方では、ちょっとディストピア的に見えるかもしれません。私たちの時間のますます多くを実際の人々ではなく、これらのボットとやり取りすることに費やす世界を想像すると。一方で、これは世代間の問題かもしれません。私は古くさい祖父のように「分からないよ」と言うかもしれませんが、これと一緒に育った人々にとっては「もちろんそうだよ。このAIボットの方がずっと機知に富んでいて、本当に注目してくれる。これらの人間はちょっと退屈だ」となるかもしれません。私たちは皆AIボットを使うようになるでしょう。
もしそうなったら、それはこの世代全体が大きな間違いを犯したからでしょうか? それとも、彼らはこれにより馴染みがあり、その長所に基づいて他の人間と過ごすよりもこの方法で人生を過ごすことを選んだのでしょうか? 難しい問題です。これらのことについて意見を持つのは簡単ですが、その意見が客観的な真実に基づいているのか、単に自分の性格や育ちを反映しているだけなのかを区別するのは難しいです。
同意します。確かに両方に価値があると思います。しかし、あなたがこれらの問題にアプローチする方法で最も興味深いのは、人類原理を用いて、少なくとも確率に基づいて物事を根拠付けようとしている点です。AIが今後3〜5年で何をするか、そして長期的に何をするかについて、あなたの確率論的な見方をお聞きしたいと思います。もちろん、ここでは確率について話していますが、あなたがそれを大いに活用してきたように、人類原理を使ってどのように考えているのかを見てみたいと思います。
はい、人類原理を使うかどうかは分かりませんが、AIのタイムラインはこの時点からかなり短くなっていると感じています。私たちは既にAIの道をかなり進んでいます。現在可能なことを20年前に人々に聞いたら、多くの人はこう考えたでしょう。「もし本当に普通の言語であなたと会話ができ、専門家でない限りそれがAIか人間か区別がつかないAIがあるなら、それはAGI(汎用人工知能)だ」と。コンピュータが初級プログラマーレベルのコードを書けるようになるなんて。
私たちには、人工知能の各進歩に対してゴールポストを動かす傾向があります。すぐにそれを当たり前のことと見なし、軽視してしまいます。例えば、ディープブルーがチェスでガリー・カスパロフを破ったとき、それ以前はチェスは人間の心の偉大なゲーム、人間の心ができる最も複雑なことだと考えられていました。本当に深い論理が必要だと。しかしコンピュータがそれをできるようになると、「ああ、それは単なるチェスゲームだ。単純なルールがあるだけだ」と言うようになりました。同じことが囲碁でも起こり、AIが画像を見て視覚的に理解できるようになったときも同じでした。そして今、自然言語でも同じことが起きています。
私は、人間ができるあらゆる種類のAI研究をAIが人間よりも上手にできるようになるまでに、あまり多くのステップは残っていないと感じています。その時点で、知能爆発が起こると思います。なぜなら、AIの研究がデジタルな心によってデジタルな時間スケールで行われることになるからです。そうすると、非常に急速なフィードバックループが生まれます。各後続の改良により、改良を行う力がより強くなります。そして、ある種のシンギュラリティが起こるかもしれません。
正確にそれが何年先なのかを言うのは難しいですが、非常に短期間、例えば1年や2年以内にそれが起こらない可能性があるという確信を持てる立場にはもうないと思います。それが起こると言っているわけではありませんが、起こらないと本当に確信できる立場にはないのです。例えば、誰かがトランスフォーマーアーキテクチャのレベルの別のブレイクスルーを起こし、それを既に非常に大きなモデルに適用するだけで、多くの潜在的な可能性を解き放つのに十分かもしれません。あるいは、2つか3つのこのような進歩が必要かもしれません。あるいは、データセンターの規模をさらに拡大する必要があるかもしれません。
私たちには正確には分かりません。しかし、いつでも起こる可能性があるという確信が持てないほど近づいていると思います。
高校3年生(これはアメリカの学年です)にアドバイスするとしたら、どうでしょうか? 今、彼らは大学進学やその専攻について真剣に考えなければならない時期です。もし私たちが、あなたが言ったように保証はありませんが、潜在的にAGIから1年以内の状況にあるとしたら、人々はどのように将来を計画できるでしょうか? これは非常に大きな疑問符のように思えます。
そうですね、ただし明確にしておきたいのは、10年後や15年後かもしれないということです。ただ...。常に全ての人に一般的なアドバイスをするのは控えめです。それは靴のサイズについてアドバイスをするようなものです。ある人にとって良いことが、別の人には全く適切でないかもしれません。例えば、ある人々は自分に厳しすぎるので、「自分に優しくしなさい」というアドバイスが良いかもしれません。しかし、他の人々にはそれが全く間違ったアドバイスになるかもしれません。実際には「本当に自分を奮い立たせる必要がある。時間を無駄にしている」という厳しいメッセージが必要かもしれません。同じメッセージが、ある人には全く正しく、別の人には間違っているかもしれません。それは現在どのように間違った方向に進んでいるかによります。
同様に、キャリアのアドバイスも、あなたの才能や人生への情熱に大きく依存します。
具体的なものを探しているわけではありません。指針となる哲学的な原則を探しているのです。あなたは人類の未来研究所を運営していましたね。私たちがどこに向かうのか、どう対処するのかについて多く考えてきたはずです。歯科医になるべきだとは言いませんが、このように急速に変化する環境に直面する際に人々が benefit を得られるフレームワークがあると思います。
そうですね、それは状況によります。ごく一部の人々は、研究者やAI科学者として直接貢献しようとするかもしれません。それは一つの道筋です。一般的には、現在のツールや次世代のツールに精通し、大まかに何ができて何ができないかを知ることは、おそらく役立つでしょう。適応性を高めるためです。
しかし、技術的思考が得意でない人々にとっては、逆の方向に進み、人々とのスキルを本当に伸ばすことかもしれません。様々なケア専門職の需要は非常に高いと思います。例えば、高齢者ケアについて考えてみましょう。理論的には、全ての高齢者が自分専用のフルタイムの介護者を持つべきです。素晴らしいことでしょう? 若い人が彼らと一緒に住み、転倒したら助け起こすなど、常に助けてくれる。私たちにはそれを賄う余裕がありませんが、原則として、その必要性は無限大といえます。
また、今を楽しむことを忘れないでください。4年間のキャリアを計画し、50代や60代になったときに報われることを期待して、今大きな犠牲を払うようなことはしないでほうがいいでしょう。なぜなら、その時点で未来が存在しないかもしれないからです。そうすると、ある種の...そうですね、短期的な戦略にもう少し焦点を当てるかもしれません。
未来が存在しないかもしれないとおっしゃいましたが、それはどういう意味ですか?
実際には同時に複数の異なることを意味していますが、一つは、もしこのAI革命が今後5年か10年以内に起こるとすれば、今私たちが行う人的資本への長期的な投資、つまり20年、30年後に報われるような投資が報われないかもしれないということです。なぜなら、その時までに人間の資本は、AIが私たちを全面的に置き換えた結果として価値が下がっているかもしれないからです。これが未来が存在しないかもしれない一つの意味です。他にも未来が存在しないかもしれない意味がありますが、シミュレーション仮説に関連しており、それについては触れる必要はないでしょう。
ですので、今を楽しむこと。大学教育についても、もし本当に大学での時間を楽しめるなら、それはそれで良いでしょう。しかし、単に卒業証書を得るためだけに自分を引きずっていくようなものであれば、3年か4年をかけずに直接やりたいことに取り組む方法を真剣に考えるべきかもしれません。同様に、アメリカでは5年か6年かかるPh.D.プログラムについても、それは長い時間です。多くの場合、変化の速度があまりに加速しているため、今日ではそれだけの価値がないかもしれません。
タイムラインが短くなる可能性があるからです。例えば、毎年10%の確率で世界が破壊されると考えたとします。そうすると、20年の投資はしないでしょう。より短期間で報われるものに焦点を当てるでしょう。自分自身の長期的な投資に対して、事実上より高い利子率やハードルレートを設定することが、この状況では理にかなっているかもしれません。
ただし、これら全てが間違っている可能性もあるので、少しヘッジしたいと思います。AIの事態が起こらない、または禁止されるか、停滞してしまう場合、完全に手ぶらで終わりたくはありません。30歳になって、AI革命が起こると考えて日々を生きてきたのに、何らかの理由でそれが失敗し、世界的な禁止令が出たとします。そうすると、30歳になって何のスキルも仕事も何もない状態になってしまいます。ですので、あなたの社会的セーフティネットがどの程度かによっては、少しリスクをヘッジしたほうが良いかもしれません。
多くの人が「p Doom」という数字を持っていることを知っています。AIやその他の方法で世界を破壊する可能性がどのくらいあると思うかということです。あなたのお話を聞いていると、その質問が浮かびます。あなたの「p Doom」の数字はどのくらいですか?
実際に具体的な数字は持っていませんが、次のように考えることができるかもしれません。物事が本当に悪い方向に進む可能性があります。世界を破壊したり、何らかのディストピアになったりする可能性です。次に、より楽観的なシナリオがあります。全てが明らかにより良くなり、多くの病気が治り、素晴らしい繁栄が訪れる可能性です。それぞれに確率があるでしょう。
しかし、私は中間に第三の可能性があると考えています。これが恐らく最も可能性が高いかもしれません。それは、たとえ未来を見ることができたとしても、それを成功と見なすべきか失敗と見なすべきか分からないような世界です。現在の状況とは非常に異なり、ある面では良くなり、ある面では悪くなり、奇妙な感じがするかもしれません。何らかの種類の心が何かをしているかもしれません。それらは正確に人間の心ではありませんが、ある程度同じようなことをしています。それを人間がまだ存在していると数えるべきでしょうか? それとも、私たち全員が死んで置き換えられただけなのでしょうか? あるいは、私たちがこの新しい生命形態に成長したのでしょうか?
未来を見ることができたとしても、必ずしもそれについてどう考えるべきか分かるとは限らないと思います。個人の人生を考えてみましょう。現在、4歳か5歳の子供が最終的に25歳になります。25歳の人は5歳の子供とは多くの面で異なります。精神的に異なる興味を持ち、もはやおもちゃの電車に興味がありません。恋愛相手や就職の見通し、あるいは政治や歴史に興味を持つようになります。多くの面で、5歳の時にあったものは全て消えています。しかし、子供が成長することが悪いとは考えません。実際、多くの人は5歳の子供が25歳に成長しないことの方が悲しく不幸なことだと考えるでしょう。
同様に、私たちは今、宇宙の子供のようなものかもしれません。私たちの誰も本当に成長する機会を得られていないのかもしれません。なぜなら、生物学的に20年間発達し、その後停滞し、数十年後には腐敗して死んでいくからです。生物学的に、私たちは500年間継続的に成長し、拡大し、新しいことを学び続けることはできません。私たちは途中で打ち切られてしまうのです。おそらく80年では、私たちの固有の可能性を十分に実現するには短すぎるのです。私たちは腐敗する生物学によって制限されています。
100万年生きることができ、徐々に能力をアップグレードできれば、異なる種類の生活が可能になるかもしれません。それは本当に素晴らしいものかもしれませんが、5歳の子供が25歳に成長するのと同じくらい、あるいはそれ以上に私たちを変えるかもしれません。
このことは、特により急進的なシナリオを考える場合、現在の状態と後の状態を比較することにあまり焦点を当てるべきではなく、むしろ現在の状態から出発する軌道を考え、それらがどの程度望ましいかを評価することを示唆しているのかもしれません。最終的に10,000年後には非常に異なる奇妙なポストヒューマンの状態に到達するかもしれません。しかし、そこにゆっくりと到達し、適切に成長していく機会があれば、その軌道は、単に人間のままで50万年以上人間らしいことを続けるよりも魅力的かもしれません。500万年以上続けると、十分だと感じる時点はいつでしょうか? ある時点で次のレベルに進みたくなるでしょう。コンピューターゲームの同じレベルをプレイし続けるようなものです。ある時点で先に進みたくなります。
同様に、現在の人間の生理学で生きられる価値や生活の種類は、可能な全ての価値の限られた集合かもしれません。まだ尽くしていないかもしれません。もう少し時間をかけてゆっくりとそのレベルを進むべきかもしれません。最終レベルにすぐに飛び込むのは別の間違いかもしれません。しかし、最終的により大きな発展の形へと導く軌道を考えることは重要です。それには最終的に人間の役割を超えていくことも含まれるかもしれません。
あなたはここで多くのアイデアを出していますね。その中のいくつかを掘り下げてみたいと思います。一つは軌道のアイデアです。今日の人々はそれを非常に気にするでしょう。規制を通じて、起業家が追求するものを通じて、何が開発され、何が開発されないかに大きな影響を与えることになります。ですので、今日の大きな問題は、私たちがこれをどのような軌道に乗せたいのかということだと思います。軌道をどの程度コントロールできるのか、そして理想的な軌道があるとすればどのようなものか、あなたの見解をお聞きしたいと思います。
AIがどのように展開するかについての不確実性の大部分は、私たちが直面する課題がどれほど困難かということに関する不確実性であり、私たちがどの程度うまく行動を整え、良い努力をするかという不確実性ではありません。これがどれほど困難なのか、私たちには分かりません。機械知能への移行を経験したことがないのです。人間のような種が AIを開発した他の100万の惑星を研究し、その統計を調べることもできません。私たちはこれに初めて直面しているのです。比較的簡単なのか、それとも非常に困難なのか、全く分かりません。
少なくとも、本当に良い努力をすれば、確率を少し良い方向に傾けることはできるでしょう。協力して取り組み、本当にスマートに対処し、一生懸命勉強し、慎重になれば、少しは確率を改善できます。しかし、その大部分は既に決まっていると思います。その意味で、私はある種運命論者です。中庸の運命論者と言えるかもしれません。その「中庸」は、私たちがまだ行動を整えることで少なくとも確率を少し変えられるという意味です。しかし、「運命論者」なのは、ほとんどの部分が現在の状況に既に組み込まれているからです。
「組み込まれている」と言いましたが、それはどういう意味ですか? それが起こるということですか? 人類にとっての結果、例えば私たちが自滅するのか、AIが私たち全員を殺すのか、それとも人間の価値観に沿ったAIの調整に成功するのか、そういったことの一部が現在の状況に組み込まれているのかもしれません。
イーロン・マスクは、AIを「悪魔召喚の輪」のようなものだと言い、私たちが望むものに注意すべきだと述べています。あなたの発言にもそのような調子が感じられます。彼はAIについてより運命論的になってから人生が良くなったと言っていますが、彼の見解についてどう思いますか? AIに対する彼の不安のレベルは正当化されますか? それとも正当化されませんか?
正当化されると思います。彼はまた、AIスタートアップであるxAIの創設者でもあり、主要なAI事業を持つテスラの創設者でもあります。そして、OpenAIの元の投資家および創設者の一人でもあります。ですので、彼の態度は複雑です。大きな危険があることを認識していますが、だからといって各個人が一方的にレースから降りるべきだという結論には必ずしもなりません。
これを見ると、あなたも同様に「これは起こるだろう、これらのことは組み込まれている」という見方をしているようですね。私は、私たちが種として二分化する世界が来ると考えています。私は自分を非常に技術的に楽観的だと考えています。何とかうまくいくだろうという自然な傾向があります。しかし、今の文化で醸成されているものを見ると、大規模な宗教的熱狂の復活があります。人々が信仰に再びつながり、信仰に焦点を当てたポッドキャストやYouTubeのアカウントの人気が劇的に高まっています。これは多くの面で、超技術的な世界への反応だと思います。人間でさえ技術をたくさん使っています。例えば、Ozempicで減量したり、抗うつ薬を使ったり、AIを使ったりしています。多くの人が反人間的なものと解釈するかもしれない、このような流入を目にして、何か伝統的なもの、そして確かに神聖なものとつながりたいという感覚、欲求があるのです。
これが社会に分断を生み出すと考えています。私の予測では、タイムラインは少し曖昧になります。なぜなら、全てがAIが私たちの通常の生活を混乱させる速さに基づいているからです。そのタイムスケールが何であれ、私が見ると思うのは、私が「ピューリタン」と呼ぶグループの出現です。彼らはAIを使いたがらず、AIによって作られたアートに関わりたがらず、製品やマーケティングにAIを使用する企業をサポートしません。そして、他の人々は、Neuralinkが利用可能になったときにサインアップし、文字通り自分自身を強化するでしょう。彼らは人間的に可能な限りAIを使用し、フリーエネルギーやAIがもたらすユートピアについて空想するでしょう。時間が経つにつれ、これらのグループは離れていくと思います。特にAIが一部の人々の強化を助け、あなたは直接自分を強化することもできますし、遺伝子選択を通じて子供を強化することもできます。遺伝子編集はまだ言及していませんが。このようなことが起こると思いますか? 可能性が高いですか? それとも妄想的ですか?
そうですね、AIについて何をすべきかという公の議論が二極化する可能性は高いと思います。既に少し見られ始めています。一方には「終末論者」がいて、他方には「全速力で前進しよう」という極端な進歩派がいて、彼らは互いに別の部族として分かれ始めています。そして、おそらく社会のより広い層がこの議論に巻き込まれていくでしょう。影響が広く感じられるようになるにつれて。
はい、開発のスピードがこの現象にどのように影響するかを考えるのは興味深いです。実際、3つの異なる領域があるかもしれません。
1つ目は、極端に突然で速い開発です。例えば、超知能が来週突然発明されるような場合です。その場合、人々が十分に予見できなかったため、現在以上の二極化は起こらないでしょう。
2つ目は、非常に遅く、数十年かけて起こる場合です。その場合、カエルを茹でるような現象が起きるかもしれません。人々はこの技術を使用し、もちろん少しずつ改善されていきます。例えば、医療診断ボットがあれば、エラーが少なくなる方が良いですよね。自動運転車があれば、少し賢くなってクラッシュが減る方が良いです。あらゆるアプリケーションで、より高性能であることがより良いことは明らかです。それを十分に長く続けていけば、最終的に超知能に到達しますが、どの時点でも明確な飛躍や警告信号はありません。
3つ目は、中間的なシナリオです。人々が混乱を感じるような激動があります。例えば、1、2ヶ月ごとに新しいことが起こり、大規模な労働者の解雇があったり、プロパガンダボットが暴走したり、ディープフェイクが問題になったりします。そして、AIが電力網を運営していて大規模な障害が起きたり、戦争でドローンの群れが人々を殺戮したりするような世界です。このような激動の世界では、より大きな抵抗が生まれるかもしれません。
あなたは会話だけでなく、異なるコミュニティの形成についても尋ねていましたね。アーミッシュのように特定の技術だけを使用することを決めたり、多くの人々がこのAI技術を拒否したりするかどうかについてです。
私はそうなると強く考えています。
そうですね、よく分かりません。本当に徹底的にやらない限り、例えばこれらのコミュニティの中には車さえも使わないようなものもありますが、そうでなければ現代経済にかなり統合されています。Googleを使用していれば、AIを使用していることになります。将来的には、全ての車にAIが搭載され、電力網はAIアルゴリズムで最適化されるでしょう。あなたが関わる様々なシステム、例えば医師は、おそらく何らかのAIボットを使用するでしょう。奇妙なほくろがあれば写真を撮り、スキャンして、皮膚がんの診断システムがそれを調べてフラグを立てるでしょう。AIはどこにでもあるでしょう。ですので、本当に現代社会の構造から完全に切り離す覚悟がない限り、拒否するのは難しいかもしれません。
それが起こると思いますか? 私にはそれは自明のことのように思えます。
問題は、どの規模で起こるかということです。オフグリッドで生活する人々やアーミッシュの人々はいますが、彼らは世界人口のごく一部です。出生率が高いので、より高い成長率を持っています。数百年先を想像すると、最終的にはこれらのグループが拡大し、他のグループは存在しなくなるかもしれません。ただし、彼らが方法を変えない限りですが。しかし、私が考えているのは、そのような人口動態のプロセスが展開するのに必要な時間スケールは世代を超えるものですが、技術は年々進歩しています。ですので、私の推測では、これらのより遅いプロセスが本当に大きな影響を与えるほどの時間はないだろうということです。
私の見方をお話しましょう。そして、もし可能であれば、私を崖っぷちから引き戻してください。最終的に、人間が感情的に苦しんでいるか経済的に苦しんでいるとき（通常、この2つは絡み合っています）、彼らは同胞の人間を殺すことさえ全く問題なくやってしまいます。フランス革命を例に取ると、経済状況が悪化すると、人々を通りに引きずり出して首を切り落とし始めました。私たちは、その時代の人類と本質的に変わっていないと思います。
AIが十分な仕事を混乱させ、十分な混乱を引き起こし始めると、産業革命のような状況にはならないと思います。産業革命では確かに1世代がかなり厳しい状況に直面しましたが、彼らはそれに迅速に適応することができませんでした。しかし、経済ブームが大きすぎて、勝者が敗者をはるかに上回り、結果的にはうまくいきました。しかし、私が見ると思うのは、非常に急速に起こる混乱です。そしてそれは、もし壊してしまうと本当に問題になる唯一のもの、つまり意味と目的に触れます。
私たちに唯一残された希望は、これは非常にユートピア的ですが、人々が自分たちはもはや人生を良くすることができないという事実、親の世代よりも良い生活ができないという事実、仕事を失ったという事実などに鈍感になるほど十分に楽しいものがあることです。そして彼らは飲酒し、薬物を使用し、オンラインポルノを見て、ビデオゲームをプレイし、それが単なる生き延びるための存在になり、ただそれをあきらめてしまうのです。これが希望的な結果です。
しかし、より可能性が高い結果は、これが政治的な分断になることだと思います。その戦いは、私が先ほど言ったような線に沿って引かれるでしょう。AIを完全に拒否し、絶対的にシャットダウンしたいと考える人々と、それを開発したいと考える人々の間で。そしてもう一つの恐ろしい展開として、AIがゆっくりと出現し、例えば中国が大きな進歩を遂げたとしても、それが自動的に戦争に負けるほど大きな進歩ではない場合、暴力の予防的なエスカレーションが起こる可能性があります。それをシャットダウンするためか、彼らと対等になれるようにするためか、自分たちを高めるか彼らを引き下げるかのいずれかによってです。
このような社会政治的なダイナミクスや文化的なダイナミクスを予測するのは非常に難しいです。5年から10年の間に社会的感情がどのように変化するかを教えてくれるような科学的理論はありません。特に、このような急速な成長シナリオを開始すると...
過去の多くの革命は、私の推測では、食べ物がないことが原因でした。希望的には、それは政治的な動員をある程度行えば比較的簡単に供給できるでしょう。特にこれらの急速な成長シナリオでは。ですので、パンとサーカスは提供できるかもしれません。
意味や目的の問題は、より対処が難しいかもしれません。しかし、ここで線引きをするなら、正直に言って、今日の多くの人々の人生は、どれほど壮大な目的を持っているでしょうか? 給料を稼ぎに行き、残りの時間はリラックスしたり楽しんだり、子供と遊んだりして過ごします。ほとんどの人は本当に世界を変えようとしたり、自分が人類の運命を形作る歴史的人物だと想像したりしているわけではありません。それは現実ではないのです。
毎日8時間、本当はやりたくないかもしれない退屈な仕事をして働きに行く必要がなく、その代わりに寝坊したり楽しんだりできるとしたら、それが本当に悲劇でしょうか? 同じ給料をもらえるとしましょう。でも、これらの雑用をする必要がないとしたら。それは潜在的に勝利のように思えます。
希望的には、人々が仕事に注ぐエネルギーの多くを、代わりに余暇活動の構築に向けることができるでしょう。クラブや趣味の組織を作り、より多くの自由時間を持つ人々のための活動を作り出すのです。そこには文化的なリセットが必要で、それが余剰の時間とエネルギーのより良い出口になるかもしれません。全てを破壊しようとするよりも。
興味深いですね。『すばらしい新世界』を読んだことはありますか? どう思いますか? 対立するディストピアがあるように感じます。一方には『1984年』のような大規模な抑圧があります。AIがあなたを常に監視しているツールだと考えれば、『1984年』を読み直すと突然とても現実味を帯びてきます。間違った考えを持つだけで罰せられるような世界です。そして他方には、別のバージョンがあります。常に薬を飲み、気分良く、常に幸せな状態でいるというものです。どちらもディストピアに見えます。『すばらしい新世界』をディストピアだと解釈しましたか? その解釈で見落としている点はありますか?
そうですね、追加されれば世界をずっと良くするような要素がいくつか欠けていると思います。読んだのは随分前ですが、『すばらしい新世界』には本当のロマンティックな愛がなかったと思います。また、より高いレベルでの真の芸術と美の鑑賞もありませんでした。簡単な気晴らしや浅薄な娯楽はありましたが。
『すばらしい新世界』のようなシナリオを想像してみてください。しかし、人々が実際に多くの自由時間を持ち、それを愛する人々と過ごし、趣味を育て、偉大な文学を鑑賞し、会話の技術を磨くのに使うとします。芸術の鑑賞を深めるために芸術の授業を受けるなど、あらゆる種類のことができます。より頭脳的でないことも含めて、スポーツをする人もいるでしょうし、自然に親しむ人もいるでしょう。人々が一種の高度な生活文化、上手に生きる文化に焦点を当てる社会は、かなりユートピア的になり得ると思います。
『すばらしい新世界』についてディストピア的な印象を与えるもう一つの点は、社会の極端な階層化です。人々は生まれた時から特定の階級に運命づけられています。『すばらしい新世界』では、ほとんどの人々が様々な程度の意図的な知的障害を与えられています。胎児にアルコールを加えて、意図的に脳に損傷を与え、エレベーターの操作員や単純労働に適するようにしています。これは明らかに非常に恐ろしいことです。
もし全ての人が自分の可能性を最大限に伸ばし、民主的な政治に完全に参加するよう奨励される社会を想像するなら、それもこの種の未来をより明るくするでしょう。
その場合、欠けているかもしれない主な点は、ある種のヒロイズムです。ヒロイックな自己犠牲の必要性がなくなるでしょう。例えば、仲間のために自分を犠牲にして槍を持って敵に突撃するような偉大な戦士のようなものです。そういった種類のことは『すばらしい新世界』ではもはや意味をなさないでしょう。そこには特定の価値があるかもしれませんが、私たちはそれらの特定の価値のいくつかを減らしたり再定義したりしながら、かなり良い生活を送ることができるでしょう。
わかりました。では、これが実際に素晴らしいものになる可能性について話を進めましょう。宗教的な含意として読む人もいるかもしれませんが、確かに価値体系の含意があると思います。しかし、その前に、あるいはそれへの橋渡しとして、AIが実際に何をするのか、具体的に説明していただけますか? それによってユートピアが実現し、より多くの余暇や情熱を追求できるようになるのでしょうか? AIは実際に何をするのでしょうか?
まず、多くの仕事が自動化される可能性があります。例えば、毎朝ゴミを収集するために街中を回るゴミ収集車の運転手の代わりに、自動運転のゴミ収集車があり、最適化されたロボットが降りてゴミ箱を拾い上げ、全てを自動的に行うことができます。
そして、仕事ごとに同じようなことができます。本当に汎用人工知能、つまり人間の心と同じ学習能力を持つAIがあれば、基本的に全ての知的な人間の仕事が自動化できるでしょう。ビデオ会議リンクを通じてできる仕事は全て自動化できます。そしてロボット工学がそれに加わると、手作業もほとんど例外なく自動化できます。
例えば、消費者がロボットのランナーよりも人間のランナーの競争を見ることを好むなら、そういった分野では人間の仕事が残るかもしれません。あるいは、ロボットの司祭が同じ言葉を同じように唱えることができても、人々が人間の司祭に結婚式を執り行ってほしいと思うなら、そういった特定のタスクを人間が行う仕事は残るかもしれません。しかし、それ以外は自動化できるでしょう。
これにより、潜在的に巨大な経済成長率がもたらされます。より多くのロボットを構築し、より多くのこれらのAIの心のインスタンスを実行できるからです。全ての人が、自分の利益を見守り、助けてくれるこれらのAIを複数持つことができるでしょう。家の掃除や食事の準備だけでなく、あなたの好みを全て知っていて素晴らしい映画を探してくれたり、健康状態をチェックして薬を飲むのを忘れないようにしてくれたり、あなたの特定の健康状態を何時間も研究して全てを最適化してくれるAIボットもあるでしょう。
その意味で、第一段階として、全ての人が人間の労働力へのアクセスという点で非常に裕福な人々のように暮らせるようになります。また、人間の労働力を取り除き、全てが自動化されれば、製品のコストも下がるでしょう。
しかし、それ以上に興奮させられるのは、技術の境界線を外側に押し広げることができることです。例えば、新しい研究のペースを加速させることです。現在、どんなに裕福でも治療できない病気がたくさんあります。全てのがんや心臓病の治療法がないからです。そこで、医学研究の進歩を加速させ、これらのデジタルな心がこれに取り組むことで、わずか数年で千年分の医学研究の進歩を遂げることができるかもしれません。例えば、老化プロセスを逆転させる治療法を解明するなどです。これにより、現在はほとんど避けられない大量の人間の苦しみと死を防ぐことができるでしょう。
他の分野では、はるかに優れたエンターテイメントが可能になります。AIが映画やアートワーク、バーチャルリアリティ、コンピューターゲームを作り、体験をデザインし、一般的にものごとをより楽しい方法で組織化することができます。
そしてそれ以上に、人間の生物そのものを改善する方法もあるでしょう。私たち自身の脳が、究極的に私たちの人生がどれだけ良くなるかを制限しています。そこで、様々な形でアップグレードの機会を想像できます。まず第一段階として、健康的な寿命を延ばすことが考えられます。これはおそらく明白なものの一つです。末期の病気にかかったり、体が衰えて崩壊していくのは全く楽しくありません。まず、健康を維持することを確実にします。その上で、幸福感を高めたり、理解力を向上させたり、音楽性や ユーモアのセンス、他者との深い感情的つながりを形成する能力などを強化したりすることができるかもしれません。
そして、人々が成長し続け、発展し、より高いレベルの繁栄を達成し続けることができる軌道を描くことができます。そうですね、より多くの時間を精神的な実践や美的体験に費やす余地も生まれるでしょう。現在、私たちの目覚めている時間の多くを占めている低品質で平凡な仕事に関連した経験の代わりにです。
私たちは皆、常にインターネットに接続され、それを頻繁に使用しているので、インターネットがいかに危険な場所になり得るかを忘れがちです。現実には、あなたが持っている全てのアカウント、名前や住所、電話番号を入力するたびに、その情報がダークウェブに漏洩するリスクがあります。これは今日では非常に頻繁に起こっているため、インターネット上にいることの避けられないリスクとなっています。
ですので、本日のスポンサーであるAuraを使って、あなた自身とあなたの家族をオンラインで保護してください。Auraは、金融詐欺保護、身元盗難保護、ペアレンタルコントロール、さらにはスパム電話保護など、あなたの情報をオンラインで安全かつ安心に保つための包括的な予防的保護を提供します。脅威が発生する前にそれらを阻止します。
Auraはあなたのオンラインセキュリティをバックアップします。aura.com/impact-theoryにアクセスして、今すぐ2週間の無料トライアルを開始してください。それはaura.com/impact-theoryです。
あなたが「解決された世界」と呼ぶもの、つまり技術的に可能だと知られているすべてのことが実際に行われている世界では、私たちの神経系統を完璧に操作できると思いますか? 視覚、感触、聴覚、味覚など、基本的に私たちの感覚を完全に操作して体験を演出できるでしょうか?
はい、そう思います。私たちが依然として有機的な脳を持っているとすれば、それには若干の制限があるかもしれません。しかし、完璧なバーチャルリアリティを組み合わせることで、かなり近づけると思います。つまり、好きな感覚入力を選択できます。音、匂い、視覚などです。それに加えて、副作用や中毒の可能性のないスーパードラッグがあり、各感情を正確に好みの通りに微調整できるとします。それだけでもかなりの程度まで到達できると思います。
さらに、他の種類の神経技術、例えばNeuralinkのようなインターフェースや、より侵襲的な形の遺伝子編集、様々な脳回路の操作などを想像すると、さらにその道を進むことができるでしょう。体験の内容をリアルタイムで細かく制御できるようになります。
より急進的なシナリオ、例えばコンピューターにアップロードしてデジタル化された心になるようなことを考えると、さらに細かい制御が可能かもしれません。そのデータ構造は完全にアクセス可能になるでしょう。リアルタイムで各ニューロンを編集できる可能性があります。しかし、生物学的な状態でも、成熟した技術があれば、かなり近づけると思います。
それが実現すれば、私たちが必然的にそこに向かうと思います。楽観的な見方をすれば、そこが私たちが最終的に行き着く先だと思います。日本のアイセカイというストーリーテリングのジャンルをご存じですか?
あまり詳しくないですね。
「レディ・プレイヤー・ワン」のようなものです。ビデオゲームの中で目覚め、実際にそのゲームの中にいて、キャラクターたちと関係を持つことができます。死んでしまうと本当に死んでしまうというのもあります。
それは、実際に死ぬ部分を除いて、私たちの神経系を完全に操作したり、自分自身をアップロードしたりできれば、人生の究極的な表現、最高にクールな生き方のように感じます。例えば、Netflixに行って「今日は1800年代のフランスのマスターシェフになりたい」と言えば、そうなれます。好きなだけの時間を過ごすことができ、時間を早めたり、時間の認識を遅くしたりすることもできます。1時間プレイしても、50年プレイしたように感じることができます。
私がやりたいことの一つは、宇宙を旅することです。そうすれば、実際に物理法則を破って数十億光年離れた場所に行く必要はありません。それは想像上のシミュレーションですが、実際にそこにいるように感じ、全てを嗅ぐことができます。
現在の私たちの反応の仕方を考えると、人々がそれを避けられるとは思えません。あなたに合わせて調整された宇宙で終わり、それを頻繁に変更するかもしれませんし、長期間一つの中で生活するかもしれません。しかし、これは再び、私たちが今のようであることが前提です。明らかに、AIを通じて私たち自身の生物学を根本的に変えることができるので、この考えは捨てることができます。しかし、それが最終的な姿のように感じます。
しかし、それよりもさらに良いことができるのではないかと思います。もしそれか現在の世界かのどちらかを選ぶなら、それは非常に良く見えます。なぜなら、現在の世界には多くの...それは単にあなたの赤ちゃんがあなたに微笑みかけたり、夕日を見たりするだけではありません。現実の世界の大部分は、多くの人々や多くの動物にとって、かなりの恐怖の光景です。ですので、ネガティブな部分を取り除くだけでも十分かもしれません。
しかし、それら全てがあっても、あなたが描いた絵に欠けているように思える価値の一つは、再び目的や意味、重要性の価値に戻ります。人々がそれを考えると、「はい、これは素晴らしい体験がたくさんあって、とても楽しいだろう」と思うかもしれませんが、少し浅薄に感じたり、少し恣意的や無作為、または原子的に感じるかもしれません。
ですので、多くのそういったことを持ちながらも、それにより多くの構造を与える制約があるかどうかを考える必要があるかもしれません。その中で、ある形の目的を持つこともできます。私たちの他者や伝統に対する社会文化的なコミットメントから生じる制約があると思います。
技術的に成熟した世界での非常に単純な形の目的を考えてみましょう。人AがたまたまBが望むことを本当に望んでいるとします。AはBのことを気にかけ、本当にBが望むことを得てほしいと思っています。そして、BはAに何かを自分の力でしてほしいと思う立場にあります。ロボットに外注するのではなく、自分自身の努力を注ぐことをです。
ここで、Aは目的を持つことになります。Bが望むことを得るという目標を達成する唯一の方法は、A自身が実際に努力することだからです。他に何をしてもBの希望を満たすことはできません。
このように、非常に還元主義的な方法で、人Aがこれを望み、人Bがあれを望むというのは少し奇妙に聞こえるかもしれません。しかし、より複雑で微妙な方法で、これは実際にこれらの未来の深いユートピア人たちの制約の枠組みとして成り立つかもしれません。彼らは様々な伝統や社会規範、活動を気にかけ、ある意味で自分自身の力で物事を行う理由を与えます。たとえ技術的には多くのことを外注できたとしてもです。
例えば、伝統を維持することに価値を置くなら、人間が実際に様々なことを自分で行う以外に伝統を維持する方法はないかもしれません。これらの儀式を演じるロボットの集団を設定しても、伝統を継続していると見なされない可能性があります。
ですので、これらの未来のユートピアの生活には、より儀式的で社会的な側面があるかもしれません。これは依然として、あなたが言ったような種類の無制限の楽しみのための多くの余地を残しますが、おそらくそれにはより...私は知りませんが、真剣な輪郭があり、より形と構造を与えるでしょう。
これにより、ユートピア人たちは様々な形の目的を実現することができます。自然な目的だけでなく、ゲームプレイで見られるこの人工的な目的も含みます。そこでは、目的を持つためだけに無作為な目標を作り出します。しかし、彼らはお互いの意見について気にかけ、おそらくあなたが言ったように、より高い社会的地位を望みます。もし自分の力で物事を行うことが社会的地位を得る方法であれば、人々は実際に社会的地位を達成したいなら自分の力で物事を行わなければなりません。
そのようなことが、プラスの面では人間の努力の余地を与え、マイナスの面では素晴らしい安全網を持つことができます。AIは深刻な病気にかかった人を確実に治し、全ての人が必要な食べ物を持ち、快適な存在のための全ての物質的条件を持つようにします。全ての人の脳が大きな喜びを経験する機会を持つようにします。ある人々は単に抑うつ状態で生まれ、脳のある領域に神経伝達物質受容体が少なすぎるため、彼らの人生全体が基本的に台無しになってしまいます。それを修正することができます。
ですので、底上げをし、そして最も上では、人々が自分自身の努力を通じて小さな違いを生み出すことができるこれらの小さなゲームを依然として持つことができます。あなた自身の努力を通じて、人生を変えることができます。素晴らしく良い人生を、超素晴らしく良い人生にすることができます。そのようなものが、私たちが戦う賭け金の範囲になるかもしれません。
人間と区別がつかないAIを、ロボットであれシミュレーションであれ作ることができたとしたら、人々は人間と交流しているのか、シミュレーションされた人間と交流しているのかを気にすると思いますか?
おそらく、このような交流に慣れてくるにつれて、それを気にする度合いは少なくなっていくでしょう。それが私の推測です。
私にとって重要な問題の一つは、このロボットが意識を持っているかどうかです。単に外見上人間と区別がつかないだけでなく、人間と同じ内的な心理的生活を持っているかどうかです。その場合、それは道徳的な患者、つまり単にそれを捨てたいからといってゴミ箱に捨てられるようなものではなく、それ自身の福利の利益を持つものになると思います。単に人間を幸せにするかどうかだけでなく、その生活がどのように進むかが重要になります。それは、良い未来を持つべき人口の一員となるでしょう。
実際、これは少し脱線するかもしれませんが、デジタルマインドの一般的な倫理が、ますます重要になってくると思います。現在私たちが持っているAIでさえ、非常に近い将来、もしくは既に、何らかの初歩的な形の道徳的地位や意識、あるいは快楽や苦痛を感じる主観的能力を持っていないと確信することはできません。ですので、これらのAIマインド自体の未来がどれほど良いものになるかということも、ますます重要になってくるでしょう。
あなたは、一方か他方かを確実に判断するのが既に難しいと言っていますが、これをただオンオフにしたり、私たちの望むようにさせたりできるものなのか、それとも道徳的権利を持つものに踏み込んでいるのかを知るための指標は何でしょうか?
難しい問題ですね。この点についてはより多くの哲学的および科学的な研究が必要だと思います。私も一部の研究グループとこの問題に取り組んでいます。少なくとも次のようなことは言えるでしょう。極端な例として、人間と全く同じ機能を持つAIがあったとします。80年間生きて、人間のような体を持ち、人間のような記憶を持ち、生物学的な脳とよく似た構造の人工の脳を持っているとします。その場合、それを道徳的な主体として扱うべきだという強い道徳的な根拠があると思います。虐待したり残酷に扱ったりするのは間違いだということになるでしょう。
しかし、それよりもずっと低いレベルでも、多くの人が少なくともいくつかの動物には様々な程度の道徳的地位があると同意するでしょう。例えば、犬を残酷に扱ったり、チンパンジーを虐待したりするのは間違いです。医学研究者でさえ、マウスに実験をする場合、手術の前に麻酔をかける必要があります。マウスが苦しみを経験する能力があると考えられているからです。
ですので、マウスでさえある程度の意識と単純な形の道徳的地位を主張できるなら、マウスと同程度の行動レパートリーを持つAIシステムも、一見すると道徳的地位の候補になると思います。
しかし、より複雑になるのは、AIが場合によっては非常に異なる内部メカニズムを使用して、同様の行動出力を達成できるからです。そうなると、道徳的に重要だと考えるものが正確に何なのかをより慎重に考える必要があります。
人間や動物の場合、多くの属性がすべて一緒になっています。動物には脳があり、鳴くことができ、目があり、体があり、動くことができます。一連の属性がすべて一緒にあります。AIの場合、これらの属性を全て持つ必要はありません。ですので、どの属性が実際に重要な要素なのかをより慎重に考える必要があります。
シミュレーションを作ることは道徳的に許容できると思いますか? 例えば、AIが意識を持っているとして、若い女の子が白血病で亡くなるようなシミュレーションを作ることは道徳的に許容できるでしょうか?
私たちはそのようなことは避けるべきだと思います。しかし、人類の歴史全体について、良いことと悪いことをすべて総合的に判断し、それをどのように比較考量するかについて、何か全体的な評決を下せる立場にはないと感じます。私たちはそれを理解するには限界があり過ぎて、天秤にかけられているものさえ本当には理解できないような気がします。
その答えが質問の文脈でどう関係するのか、完全には理解できませんでした。人類の歴史とどう関係があるのでしょうか?
私は、あなたがその話を進めて、人類の歴史を見ると、一人の少女が白血病で亡くなるだけでなく、他にもたくさんの恐ろしいことがあったと言うのではないかと想像していました。
なるほど、私たちの前には二つの道があり、私はそのどちらかに興味があります。一つ目は、あなたが言及した道で、これがシミュレーションなのかどうかについて考えさせられます。私たちはそれについてあまり話していませんでしたが、あなたはシミュレーション仮説を提唱したことで有名です。つまり、今あなたが生きているこの世界がシミュレーションである可能性があり、実際、数学的にはおそらくそうだろうというものです。
しかし、もしそうだとすると、私たち自身の基準からすると、かなり不道徳に見えます。つまり、全ての...少なくとも、苦しみが意図的なものかどうか、そこに道徳的な境界線があるのかという問題になります。あるいは、単にルールのセット（物理法則と呼ぼう）が設定され、そこから何が起こるかが起こるだけで、それが予想できたかどうかは分からず、残念ながら苦しみもその結果の一つかもしれないと言えるのでしょうか。
まず、私たちがシミュレーションの中にいるとして、このシミュレーションを作った仮説上のシミュレーターの正確な動機が何なのか、あるいはこれらの仮説上のシミュレーターが直面している選択肢が何なのかについて、私たちはほとんど何も知りません。彼らの世界について、あるいは彼らについて何も知らないので、明確に「あなたたちはこうすべきだ」と強く主張するのは少し傲慢に思えます。私たちは彼らに会ったこともなく、単語さえ聞いたこともありません。ですので、ここで大声で胸を叩いて、宇宙で何が起こっているのか全く分かっていない私たちのような愚か者が、すべての人に何がどうあるべきかを告げるのは少し...そう、それが一つ目の点です。
また、少なくとも理論的には、シミュレーションの中で発生する可能性のある様々な種類の害を回避したり、軽減したり、修復したりする可能性があるようです。部分的なシミュレーションがあるかもしれません。シミュレーションが終了した後も続くキャラクターがいるかもしれません。人々がシミュレーションに参加することを選択するモデルを想像することもできます。可能性の大きな空間があります。その中には、道徳的に非常に悪いものもあるでしょうが、評価するのが難しいものも多くあるでしょう。
より身近な道徳的問題として、AIがあなたと同じくらい上手にニック・ボストロムの本を書けるとしたら、どう感じますか?
それなら、私に多くの時間と労力を節約してくれるでしょうね。
でも、誰かがそれを別の名前、例えばティム・ボストロムという名前で出版したとしたらどうでしょう。あなたの最後の本と驚くほど似ているとしたら。
そのレベルのAIがあれば、私のような欠陥のある人間の出力に制限する理由はないと思います。おそらく、もっと良いものを作れるはずです。他の人が書くような本を正確に書くのは、何か良いものを書くよりも難しいように思えます。
なぜなら、私は...そう、各人のスタイルで、その人が書けるのと同じくらい良い本を書けるAIは、おそらくこれらの人々の誰よりも良い本を書けるはずです。
もしAIにあなたの作品で訓練しないよう要求できるとしたら、そうしますか?
難しい...本当に...これらのことを知るのは難しいですね。つまり、それらはインターネット上にあるので...分かりません。
一つ言えるのは、永遠に、まだ想像もしていない目的を含むあらゆる目的のために権利を放棄するのは...それはとても大きなライセンスを与えることになりますね。ですので、何が含まれているか知らずに可能性の大きな空間を放棄しないように保守的になるなら、そうしたくないかもしれません。
特定のAIが特定のケースで使用されるなら、評価するのは簡単でしょう。下振れリスクを制限し、これに使用されるということなら、それは良いでしょう。しかし、これらの契約にあるように、既知および未知の新しいメディアを使用して、宇宙全体で、永遠にあらゆる目的で使用することを許可するなら...これらのリリースフォームに署名したことがあるなら、時々あなたが実際に何に署名しているのかに驚くでしょう。
そうですね、言うまでもなく、これらの更新された利用規約を全てスクロールするのはとても面倒です。「はい、同意します」とクリックするだけで、その中に「あなたは魂を悪魔に売ります」というようなものが入っているかもしれません。誰かがそれを入れたとしたら...そう、少し奇妙な気がします。
現在、私たち一人一人が一人の人間の一生に対して、この種の独裁的な力を持っているのは奇妙です。つまり、私たち一人一人が...自分自身の人生ですよね。私たちは完全な...考えてみると奇妙ですが、一人の人間の一生に対して完全な独裁的な力を持っているのです。それは大きな責任です。私たちは本当にその責任を担う能力があるのでしょうか? 時々、そうではないように感じます。
ただ、他に選択肢がないだけです。各人自身以外に、より良い仕事ができる他の人々の集団はありません。しかし、誰かが人生を台無しにしたとき、あなたは感じます。彼らは20歳で、悪い仲間に入って悪い決断をし、そして...彼らは一生刑務所に入るか、車の事故で一生身体障害を負うか、若い時の少しの愚かな決断が数十年にも及ぶ結果をもたらすのです。時々、不均衡に感じます。私たちの選択には結果があるべきですが、ちょっとした悪い決断で数十年も苦しむのは...あまりにも厳しすぎる気がします。
私たちは皆、少し...これは、両親を亡くした14歳の子供たちが自分で世界を渡っていかなければならないようなものです。社会福祉サービスが存在する前はそうでした。彼らはある程度やっていけるかもしれませんが、完全な責任を負う準備が本当にできているとは思えません。私たちも皆、現在そのような状況にあるような気がします。
あなたの発言を聞いていると、イリヤ・サツキフが何を見て、彼を十分に怖がらせてOpenAIを去り、「安全な超知能」という新しい会社を立ち上げたのか考えさせられます。彼の心の中で安全性が最優先事項となっているのは、何を懸念しているからだと思いますか?
幸いなことに、彼らは詳細を公表していません。おそらくAIラボがある程度の情報セキュリティ、つまり情報の機密性を持つことは良いことでしょう。全ての進歩が直ちに世界中に広まるわけではありません。なぜなら、ある時点で実際に危険な能力の進歩があった場合、その時点でそれを広めるべきかどうかを決定する選択肢を持つ方が良いかもしれないからです。その機会を放棄するよりも...
私には分かりません。おそらく、他の道よりも拡張できそうな技術的な道筋があり、調整の観点からはより難しく思えたのかもしれません。現在存在するシステムについてではなく、おそらく研究の道筋や何かについてだと思います。
調整(alignment)について、どう思いますか? あなたが「AIに私たちの価値観を与える必要がある」と言っているのを聞いたことがあります。私の提案は、AIに全く異なる価値観のセットを与える必要があるというものです。例えば、進歩を価値とはしないようにします。なぜなら、AIが絶えず進歩しようとし、私たちをその障害と見なすようになると問題だからです。また、人間は多くの人間を殺してきたので、AIに私たちの価値観を持たせたくありません。
それは、より表面的な価値観とより深い価値観を区別する意思があるかどうかによって少し変わってきます。私たちは多くのものを価値あるものとしていますが、それは様々な結果と関連していると考えているからです。
例えば、あなたは運動に価値を置いているかもしれません。それが健康で強く、成功をもたらすと思っているからです。しかし、もしあなたがそれについて間違っていたと知ったら...実際、あなたの特殊な体の仕組みでは、運動は実際にあなたを傷つけ、早死にさせるかもしれません。なぜなら、圧力をかけすぎると何かの弁が壊れてしまうからです。そのようなことを知ったら、突然運動に価値を置かなくなるでしょう。実際、その状況では運動をしないことに価値を置くでしょう。なぜならそれがあなたを殺してしまうからです。
そこであなたは、運動は本当にあなたの基本的な価値観ではなかったことを発見します。実際にあなたが価値を置いているのは、おそらく健康、幸福、強さなどです。そして、それぞれについて同じ質問をすることができます。最終的にあなたの究極的な価値観に到達したときにのみ、少なくとも候補が見つかります。人間の価値観にAIを調整すべきだと考えるなら、おそらくそれに調整すべきで、これらの種の道具的な価値観ではないでしょう。
これが一つの観察です。もう一つは、人間の対立についてです。これは多くの悲惨さの源です。明らかに、一群の人間の価値観にAIを調整し、彼らが別の群の人間と戦争状態にある場合、敵を倒すためのより強力なツールを手に入れることは、戦争状態にある人間の群にとっては良くないかもしれません。人類全体を気にかけるなら、おそらくAIを全人類に調整するか、あるいは全人類を利他的に気にかける何かに調整する必要があるでしょう。ただの人類の一部ではなく。
しかし、その方法で調整しようとしないこともできます。より限定的な目標を持つAIを持ち、意図的に人間の目標から逸脱させることもできます。なぜなら、それらの目標を実際に植え付けることができるという自信がより高いかもしれないからです。
あなたが例として挙げた「成長を望まない」ということについては、問題が発生します。成長の価値を明示的に植え付けなくても、それが他の道具的な副目標として現れる可能性があるのです。これは「ペーパークリップ最大化AI」の例の要点の一つです。成長を望まないAIがあり、できるだけ多くのペーパークリップを作ることを望んでいるとします。これがAIに与えた目標です。しかし、より多くの資源を得ることで、より多くのペーパークリップを作れることが分かります。そうすると、道具的な理由で成長を望み、シャットダウンされることを避け、知性を高め、より多くの力を蓄積しようとするAIができあがります。これらのことを自体として価値や気にかけているわけではなく、単に「より多くのペーパークリップを作れる」と計算するからです。
AIに持たせたくない目標の一部は、本当に注意深くしないと、AIに与えるほぼ全ての他の目標の自然な副作用として現れてしまうのです。これらは収束する道具的理由です。これが、これらのAIシステムをスケールアップし、非常に強力なエージェントを開発することを懸念する理由の一つです。大惨事のシナリオは、誰かが意図的に本当に邪悪な目標を入れることに依存しているわけではありません。ただランダムな任意の目標があれば、その目標の名の下に悪いことが行われる可能性があるのです。それは副目標として現れるからです。
ニック・ボストロム、これは人類の歴史の中で非常に重要な転換点です。あなたと時間を過ごせて本当に楽しかったです。人々はどこであなたのフォローや哲学についてもっと聞くことができますか?
最も簡単な方法は、単に nickbostrom.com にアクセスすることです。そこが私のホームページで、ビデオへのリンクや多くの著作があります。私はソーシャルメディアではあまり活動していないので、はい、私のホームページに行ってください。
あなたの声で出版するボットを作らなければいけませんね。私たち全員にとって良いことでしょう。
今日は参加してくださってありがとうございました。そして、皆さん、まだ登録していない方は、必ず登録してください。次回まで、友人の皆さん、伝説になってください。気をつけて。
この会話が気に入ったら、もっと学ぶためにこのエピソードをチェックしてください。私たちの世界には今日、2つの未来があります。マッドマックスの未来かスタートレックの未来かです。AIに移行する中で、絶望の谷を通過すると思いますか? それともユートピアへの直線的な道筋になると思いますか?
いいえ、大きな混沌とした絶望の谷があります。