マックス・テグマーク『LIFE 3.0 人工知能時代に人間であること』

すべての物理法則は、過去が未来を決定するという形で表現できると同時に、自然が何かを最適化するという形でも表現することができ、この二通りの方法は数学的に同等である。

　自然そのものが何かを最適化しようとしているのであれば、目標志向的な振る舞いが出現することは何の不思議もない。物理法則そのものに最初から組み込まれているのだ。

生物は限定合理性を持った主体であって、ただひとつの目標を追求するのではなく、何を求めて何を避けるかに関する経験則に従うにすぎない。我々人間の心は、進化してきたその経験則を「感情」として認識し、増殖という究極の目標を目指すための意思決定の指針として使うことが多い」

「なぜ我々はときに、遺伝子や、増殖するというその目標に反旗をひるがえすことを選ぶのだろうか？　それは、限定的合理性を持った主体として、自分の感情だけに忠実であるようにできているからだ。脳は単に遺伝子の複製に役立つよう進化したが、我々が遺伝子に関する感情を持っていないせいで、その目標にあまり意識を払うことができなかった」

「つまり人間の振る舞いは、ヒトという生物種の存続に対して完全に最適化されているわけではない」

自己改良していくあいだも、人間にとって友好的な目標を永久に維持しつづけることが保証されたAIを設計する方法が、もしかしたらあるかもしれない。しかしその方法も、さらにそれが可能かどうかすらも、まだ分かっていないと言っていいと思う。

私に言わせれば、意識の問題は、誰もが避けようとするが重要な問題だ。あなたは自分が意識を持っていることを知っているが、それだけでなく、あなたが絶対確実に知っているのは意識だけである。ガリレオと同時代にルネ・デカルトが指摘した通り、それ以外はすべて推測にすぎないのだ。

本書では知能の未来に焦点を絞ってきたが、この観点から見ると、この宇宙に意義を与える意識の未来のほうがさらに重要である。哲学者はこの違いをラテン語を使って、＜サピエンス（理知的に考える能力）＞と＜センティエンス（クオリアを主観的に経験する能力）＞と表現したがる。我々人類はこれまで＜ホモ・サピエンス＞、すなわち現在もっとも賢い存在であることを自分たちのアイデンティティの礎にしてきた。しかしいまや、さらに賢い機械に見下されないよう、新たに、＜ホモ・センティエンンス＞と名乗ったらどうだろうか。

AIは我々に大きな機会と厄介な難題の両方をもたらすだろう。ほぼすべての難題に役立ちそうな戦略は、AIが完全に立ち上がる前に、我々がひとつになって行動して人間社会をより良くすることだ。若者への教育を通じで、強大な権力をテクノロジーに譲り渡すまえにそのテクノジーを堅牢で有益なものにすること。テクノロジーによって時代遅れになる前に法律を現代化すること。自律型兵器の軍拡競争へエスカレートする前に、数々の国際紛争を解決すること。AIによって不均衡が拡大する前に、すべての人が豊かに暮らせる経済を構築することである。AI安全性研究の成果が、無視されるのではなく実行に映されるような社会が好ましい。さらに先を見据えて、超人的なAGIに関する難題について言えば、強力な機械に基本的な倫理基準を教え始める前に、少なくともそのうちのいくつかについてすべての人の同意が得られているべきだ。多極化した混沌とした世界だと、邪悪な目的でAIを使う力をもった人間は、そのような目的で使う動機と能力をますます持つようになるだろうし、AGIの開発を目指して競い合うチームは、さらにプレッシャーを感じて、互いに協力するよりも安全性を軽視するだろう。」

「共通の目標に向かって協力し合う、もっと調和した人間社会を築くことができれば、AI革命がハッピーエンドになる可能性は高まるのだ」

「生命の未来を良いものにするためにあなたが取れる最善の方法の一つは、明日をより良いものにすることである。あなたにはいろいろな形でそれを実現する力がある」

「いまやAI時代を切り拓いている我々は、いわば生命の未来の守護神である。ロンドンでは涙を流した私だが、いまではそのような未来は回避できるはずだと感じているし、未来を変えるのは以前考えていたよりもすっと簡単だということも分かっている。我々の未来は、石に掘り込まれていて起こるのをただ待っているのではない。我々の未来は我々が作るものだ。一緒に刺激的な未来を作ろうではないか！