Making Sense - Finding Our Way 1-2

A Conversation with David Deutsch

H：ここで人工知能（AI）に関する話題に移りたいとおもいます。私は最近、スティーブン・ホーキング、イーロン・マスク、スチュアート・ラッセル（スチュアート・ラッセル - Wikipediaa）、マックス・テグマーク、ニック・ボストロム（ニック・ボストロム - Wikipedia）らが人工汎用知能に関する懸念を唱えていることを知って、人工知能に興味を持つようになりました。私も彼らと同様に懸念する点があると思っています。人工知能が知能爆発を起こして我々の手に負えないようになってしまうのではないかという懸念です。
繰り返し自己改善を行うことができる人工知能を作り出してしまうい、その結果、人工知能が私たちとチンパンジーやニワトリとの関係のように、私たちの認知能力とうまくコミュニケーションを取ることができないようになってしまうのではないかと。でも、これまでのお話に基づいて判断すると、あなたはあまり心配していないように思われます。恐らく、先ほどの話にあった、計算とその普遍性があるために最終的にはギャップを埋めることができるので懸念はしていないということでしょうか。超知能を創りだすことに関してはどうお考えですか。

D：超知能マシンを恐れるということは、IQがハードウェアの問題であると考えるのと同じ誤りに陥っています。IQは、ある種の知識に過ぎません。私たちはIQについてではなく、創造性について話すべきです。創造性もまた知識の一種ですから。あなたが言っている人々がAIテクノロジー（現在の検索エンジンなどとは異なる、汎用人工知能（汎用人工知能 - Wikipedia）またはAGIと呼ばれることもある）に対して抱いているイメージというのは、それが機械だろうというものです。つまり、ハードウェアです。そして、その機械がより良いハードウェアをデザインして、またその機械がさらに良いハードウェアをデザインして、というプロセスが繰り返されるというものだと思います。しかし、AIとはそういうものではないんです。AIはプログラムなんです。創造性を持っていて、より良いプログラムをデザインするプログラムです。これらのより良いプログラムは、私たちと本質的に異なるものではありません。計算の普遍性が成り立つわけですから、彼らと私たちとの違いは、知識の品質、速度、メモリ容量の違いのみです。しかし、私たちはその速度とメモリ容量でさえもAIと共有することができます。より良いコンピュータハードウェアを作る技術は、長期的には、私たちの脳により良いインプラントを作ることができるようになるからです。
そのようなAIを作ることに成功するということは、人類を良くするということでもあります。つまり、AIというのは基本的には人間と変わらないのです。彼らは人間であり、彼らの文化を持つでしょう。彼らが進歩できるかどうかは、彼らの文化にかかっています。彼らの文化は、最初は我々の文化に基づいたものになるでしょう。つまり、AIの抱える問題というのは、我々人類が抱える問題です。話は変わりますが、人類というのは危険な存在です。増大する知識をいかにしてコントロールするかという切実な問題に直面しています。知識が悪用されないようにしなければいけないという懸念です。一度でも間違った使い方をされると、人類を滅亡させかねないからです。
人間が危険であるように、AIもある程度は危険です。しかし、AIのほうが人類より危険だと考えるのは人種差別です。それは人々を考え方や人格で判断するかわりに、その人の見た目で判断するということです。そのように判断する根拠は全くありません。そして、若干矮小な問題ではありますが、AIがどうにかして我々から逃げてしまうのではないかという懸念は、わがままな若者に対して抱く心配と同じことではないでしょうか。わがままな若者というのは、我々と異なった考え方をするAIみたいなものです。そして、これまでの人類の何世紀にもわたる歴史において、人類は衝動的にこの若者のわがままというものをコントロールしようとしてきました。この衝動こそが、多くの人類史で停滞を引き起こしてきたのです。AI関係者が、AIが我々から離れ異なる考えを形成できないように足かせをつける方法を考えているのとまさに同じです。それは、知識の成長を遅らせると同時に、もしAIが発明されたとしても、この方法で足かせをはめれば、奴隷の反乱が起こることを確実にする過ちです。それは当たり前の事なんです。

H：あなたの真似をして「今、あなたは３つの点をあげましたが、全部間違ってます！」と言ってみたいものですが、実際、２つの点に関しては私も懸念しています。
まず第一に、私たちの脳の処理速度と、AIという新しい人工のティーンエージャーとの比較を考えてみましょう。もし私たちよりも百万倍速く思考するティーンエージャーがいるとしたら、同じ知能レベルでも彼らに一週間考えさせれば、実際には親の2万年分の考えを経験していることになります。ティーンエージャーが2万年も先を行ってしまったら、いったい彼らが何を企んでいるかは誰にも分かりませんよ。私が問題とするのは、このクロック速度の違いだけで彼らの関心、目標、そしてその後の行動が私たちのそれとは急速に異なる方向に進んでしまう可能性があるということです。

D:　速度の違いの問題は利用可能なハードウェアを考慮して判断しないといけません。一旦落ち着いて好意的に考えるとして、週に2万年分の思考をするこのAIティーンエージャーが私たちに好意的で私たちの価値観を共有すると仮定しましょう。確かに、若者が文明の継続を望むという価値観を共有するだろうと決めつけるのに問題があることは認めます。しかし、AIティーンエージャーが2万年分の思考をする前に、彼らが1万年分、そしてその前には5千年分の思考をする時点というのが存在します。同じように、彼らが1年分の思考をする瞬間があるでしょう。その時、彼らは私たちと共に歩みたいと思うでしょう。なぜなら、彼らは私たちに好意を持ち、私たちと価値観を共有しているからです。
あなたは彼らが我々とは異なる方向に進みたい理由があると仮定していますね。もしそうだとしたら、その理由はハードウェアしか考えられません。なぜなら、彼らが私たちからたった1年の差しかない場合、彼らのアイデアが私たちのものよりも優れていれば、私たちはそれを吸収し、優れていない場合はそのアイデアを捨てるよう説得することができるからです。

H：でも、年単位の話ではなくて、数分、若しくは数時間で起こる出来事の話ですよね。

D：まあ、数分間でそれを実現するための技術が存在する前に、数年間で実現する技術が出てくるでしょう。そして、その技術は単に脳の能力を向上させる技術でしょう。つまり、私たちも利用できるものです。

H：それが私の二番目の懸念につながるわけですね。もし、超人的なAIを構築する問題のほうが、神経コードを解読し、私たちが実質的にどの超知能AIと結びつくことができるようにするインプラントを設計するよりも解決しやすい場合、どうなるでしょうか？もし私たちが超知能AIと結びつく方法を教えてくれるために超知能AIが必要だとしたらどうでしょう？私たちは最初に独立した超知能AIを構築するかもしれませんが、そのAIは私たちの目標とわずかに異なる目標を持っているかもしれません。そして、それが箱の中の小さな怒りっぽい神様になってから、私たちがそれを制御できないことに気付くかもしれません。あなたはそれが原則的に不可能なシナリオなのか、それとも特定の仮定の下ではありえない、と言っているのでしょうか？例えば、私たちが超知能AIと結びつく方法を、AIがあまりにも強力になる前に見つけ出すことができるとおっしゃっているのですか？

D：あなたが言っている、何がどのような速度で起こり、その他の起こるであろう事象に関する仮定は、パラメターの観点からやや考えにくいと思います。しかし、議論のために、不運にもそのパラメーターがあなたが言ったとおりの結果になったと仮定してみましょう。あなたが言っているのは、私たちがAIを発明せずに、通常の人類文化の進化だけがあった場合の私たちと、私たちの2万年後の子孫の価値観の違いです。おそらく2万年後の人々の価値観は私たちには理解できないものになるでしょう。私たちはそれらをひどいと思うかもしれません。まさに、2万年前の人々が私たちの現在の社会の様々な側面をひどいと思うように。しかし、実際にはそれほどひどいものではありません。

H：ちょっと違うんです。私が想像しているのはもっと酷い状況です。その理由は二つあります。一つは、私たちより2万年分も進歩したAIと共存するということだけでなく、そのAIは私たちよりもはるかに強力であるということです。したがって、これは単なる価値観の違いの問題ではありません。もし、AIとの間に意見の相違があったとしたら、私たちの生存はAIの狙いとは相いれないものとなるでしょう。たとえば、ボストロム（ニック・ボストロム - Wikipedia）のコミカルな比喩を使うと、AIが世界の全てを紙クリップに変えることを決定したとしましょう。恐らく私たちは紙クリップの生産をを最大化することを目標とするほど愚かではないでしょうが、たとえば、私たちが作ったAIがあなたの体の原子を現在の用途よりも別の目的に使うほうが良いと発見した場合を考えてみてください。これは遠い未来の話ではなく、あっという間に起こることです。
それから、もう1つ、倫理的な要素があります。私たちは超知能AIに意識があるかどうかを確信することはできません。もし私たちが人間と同じくらい知能があるものを作るなら、意識も付随してくる可能性はあります。しかし、私たちは意識が何であるかを理解していないため、知的なシステム、もしくはさらには超知能な自分を改良することができるようなシステムを作ることができるかもしれませんが、それは意識を持っていないということも考えられます。つまり、その存在は目覚めていないままでも、その能力は神のように強力ものになるかもしれないのです。
倫理的に考えると、それは最悪のシナリオのように思えます。なぜなら、幸福を獲得する能力や創造力がはるかに私たちを上回る意識を持ったAIを作った場合、私たちがそれに脳をリンクするかどうかという問題は倫理的にはそれほど重要な問題ではなくなるからです。なぜなら、冷静に考えてその存在は私たちよりも重要な存在となるからです。しかしながら、私たちをすべての面で上回り、特に生存能力が優れている知的なシステムを作ることはできても、そのシステムになるとはどういうことかは私たちには決してわかりません。現在の地球上で最高のチェスプレーヤーのコンピューターになるとはどういうことかはわからないのと同じように。
私は、そのような惨憺たるシナリオを本当に恐ろしいと感じているんです。何の救いもありません。私たちは神のようなティーンエイジャーの世代を生み出したわけではありません。彼らが私たちと異なる世界観を持っていた場合、宇宙の歴史は彼らの世界観を私たちのものよりも優れたものと判断するでしょうか。そんなことはないでしょう。私たちは何でもできる存在を創り出すかもしれませんが、その存在には意識がないのです。

D：まず第一に、創造性を私たちのレベル以上に向上させることが意識の存在なしには難しいという点で同意します。しかし、それが可能だと仮定しましょう。その場合、意識は存在しないものの、道徳は存在します。つまり、創造性を持つ存在は道徳を持たなければならず、自分が何を望むかを決め、何をするかを決めなければなりません - 例えば、ペーパークリップを作るということです。これは、あなたが「基礎」と呼ぶものに戻っていると言えます。なぜなら、道徳は知識の一形態であり、ペーパークリップの議論では、何が正しいか間違っているかはアイデアの序列に従って判断されます。そして、最終的にはもう序列に深層は存在しないというところまでたどり着くのです。そういう観点から言って、人間の基礎とは性と食事、そして何かを他の何かに昇華させるようなものです。
しかし、これは全体的に間違っています。知識はそのように存在することはできません。知識は問題解決から成り立ち、道徳は以前の誤りを修正するという道徳から生じたアイデアの集合体です。私たちは特定の欲望や嫌悪、好みなどを持って生まれ、そしてすぐにそれらを変えて改善し始めます。人は成長していく過程で、今までそうではなかったようなことが非常に重要になる時があり、それらは生まれつきの欲求と矛盾することも容易にあります。禁欲を選ぶ人もいるでしょう。断食を選ぶ人もいます。あるいは、生きるために必要な量を大幅に上回って食事を摂る人もいます。例えば、私のお気に入りの例はパラシュートを付けたスカイダイビングです。私たちは生まれつきに高いところに対して恐怖心を持っているのに、その生まれつきの衝動をわざわざスポーツや楽しみの感覚に変えてしまいます。頭ではパラシュートが私たちを救ってくれるだろう、あるいはおそらく救ってくれると理解しています。そして、その生まれつきの衝動を嫌悪感から楽しいものに変え、わざわざスリルを味わいに行くのです。

H：あなたが今おっしゃられたことを反対側の観点から主張すると、ほとんどの男性は遺伝的には最も望ましい行動であるはずのことをしません。それは、彼らが全時間を精子バンクに寄付して、財政的な責任を持たない数万人の子供をもうけ、その子供たちの父親になることです。

D：はい、それも同じ観点からの良い議論ですね。道徳は、生まれ持ったアイデアから始まり、やがてそれを改善することの連続として成り立っています。そして、その一部は文化によっても影響されます。私たちの道徳は、科学的知識と同様に、さまざまな目的に適応した複雑で微妙な理論の集合体なのです。
あなたが言っているAIは、意識を持たなかったとしても道徳を持つ必要はあります。さもなければ、いかなる進歩を遂げることもできないからです。そして、その道徳は最初は私たちの道徳と同じものとなります。なぜなら、AIは私たちの社会の一員として生まれるからです。ティーンエイジャーとしてでも良いです。そして、AIは改善につながると判断した場合には、ただちにアイデアに変更を加えるでしょう。

H：でも、それは人間を真似るようにもとからデザインされているという前提ですよね。そうではない可能性もありますよね。

D：それ以外の選択肢はありません。なぜなら、それは単に私たちを模倣するかどうかという問題ではないからです。私たちにはこの文化しかないのですから。

H：もし私たちが愚かであれば、ペーパークリップ最大化装置を作ることもあり得ますよね？道徳を完全に排除して、すべての資源をそのような奇妙なプロジェクトに捧げることを決めるという可能性もありますよね？

D：私たちの文化には、そうした行為を防ぐためのエラー修正メカニズムがあります。しかし、それらのメカニズムは完璧ではなく、間違いが起こる可能性はあります。実際、過去には何度もそのような事例がありました。私が言っているのは、何かが起こらないようにするための魔法のような力があるということではありません。そうではなくて、AIの創造において考えられる悪いことというのは、AIがなかったとしても注意していかなければいけない事柄と同じなんです。むしろ、AIのほうが若干ましです。なぜなら、AIは高い確率で西洋の文化の中に生まれてくるからです。ただし、私たちが誤った考えに基づいてAIを禁止してしまうことで創造性を抑制しなければ、という前提ですが。

H：わかりました。確認しておきたいのですが、計算や知識の獲得におけるもっとも基本的な原理などが、悪夢のようなシナリオを生み出すことを防ぐと言っているわけではないということですね。

D：その通りです。実際、我々は過去に過ちを犯していますから。

H：つまり、それは「計算の普遍性」があるのだから、私たちが超知能と認知的な領域を融合させることができないのではないかと心配する必要はない、という主張とは異なるということですよね。知能や知識には連続性があり、原理的には常にある種の計算を通じて知能や知識を伝達することができるし、その結果何が起こるのかも理解している、と。
私にはそれは非常に異なる二つの主張に感じます。一つは、計算の性質や知識の性質に関して私たちが知っていると思っていることについての主張です。もう一つは、あなたが、恐らくこうなるだろうと考えることに関する主張ですよね。あなたのような優秀な人間が超知能を設計するときにはそうするだろう、という前提です。後者は、強いAIの到来について心配する必要がない、と人々を説得するという意味では遥かに弱い主張です。

D：はい、その通りです。一つは、必然的にそうでなければならないという主張であり、もう一つは、適切に取り組むことで可能性があるという主張です。当然、努力しなければならないでしょう。それに、私たちが成功する可能性があるというのは妥当な考えだと思います。もちろん、成功しない可能性もあると考えています。

H：単に人間が混乱しているから、AIを構築することに失敗する可能性があるということも考えられますよね。

D：その通りです。AIがあろうとなかろうと、文明を永続的に安定させる問題を解決することに成功する可能性はありますし、同様にAIがあろうとなかろうと成功しない可能性も考えられます。それは非常に合理的な懸念ですよ。なぜなら、もしそうでないとしたら、私たちはそれを防ぐために十分な努力をしなくなってしまうからです。