誰も解決できないAIの主要な問題

26,878 文字

2014年、DeepMindが開発した人工知能システムがコンピューターゲームを学習する動画を見たとき、私は唖然としました。目の前に映るのは、私たち多くが子供の頃に遊んだBreakoutという古いゲームです。
覚えていますか?板で球を打ち返してレンガで作られた壁を破壊するゲームです。しかし、ここには何か違和感があります。プレイヤーの動きがおかしいのです!まるで目が見えていないかのように、プラットフォームを無秩序に左右に動かしています。その後、状況は少し改善され、ボールに近づこうとしますが、それでも失敗します。そして突然、すべてが変わります。
プレイヤーは無敵になったのです!ボールがどれだけ速く動いても、信じられないほどの精度で打ち返します。そして驚くべきことが起こりました。プレイヤーは左上隅に穴を開け、そこにボールを誘導することで最高得点を獲得する賢い方法を見つけたのです。興味深いことに、この「プレイヤー」は人間ではありません。DeepMindが開発した人工知能なのです。
そして、ここが面白いところです。このAIはゲームについて何も知りませんでした。誰もルールを説明せず、プラットフォームやボールについても学んでいません。単に数字(私たちが「画面表示」と呼ぶもの)が与えられ、別の数字(私たちが「スコア」として知っているもの)を最大化するように指示されただけでした。
AIは試行錯誤を通じてゼロから学習しました。そして最終的に、人間よりも上手くプレイできただけでなく、ゲーム開発者さえ知らなかった戦略を見つけ出したのです。「その過程には人間らしさがあり、不安な感覚を覚えました。目標を持ち、その創造者をはるかに超えて完璧さに到達したAIを目の当たりにしたのです。」
おそらく、複雑な目標を達成する能力?DeepMindのAIはゲームという単純な世界に住んでいましたが、その限られた範囲内で間違いなく「知的」でした。私たちが現実世界でするように、情報を収集し、処理し、決定を下したのです。
DeepMindが使用した手法は深層強化学習と呼ばれます。犬の学習と似ていて、良い行動には報酬が与えられ、悪い行動には与えられません。AIはスコアを最大化しようとしてプレイを学習しました。興味深いのは、この手法が普遍的だということです。
AIはBreakoutだけでなく、他の何百ものゲームを学習し、しばしば人間以上に上手くなりました。これにはStarCraft IIやDota 2など、プロのeスポーツ選手を打ち負かしたゲームも含まれます。次に何が来るか想像してみてください。この手法はゲームだけでなく、現実世界にも適用できます。
ロボットは人間から直接指示されることなく、独自に歩行、水泳、飛行を学ぶことができます。必要なのは、何が正しいかを示す「ポイントシステム」だけです。2016年、囲碁界は息を飲みました。無敗の伝説的チャンピオン、イ・セドルがコンピュータープログラムAlphaGoとの対戦に向けて準備していたのです。
囲碁は信じられないほど複雑な古代中国のゲームです。可能な手の数が宇宙の原子の数よりも多いのです!いや、もっと適切な比較があります。宇宙の各原子がそれぞれ独自の宇宙だとしても、囲碁の可能なゲーム数の方が多いのです。
そのため、最高のプレイヤーたちは計算だけでなく、正しい手を打つための神秘的とも言える直感にも頼っています。囲碁は人間の知性の最後の砦と考えられていました。可能な局面の数が天文学的(10^170)で、すべての選択肢を計算することは不可能だからです。
機械には達成できない直感と深い戦略的思考が囲碁での成功には必要だと考えられていました。イ・セドル自身も落ち着きと自信に満ちていました。2015年10月:「現在の機械のレベルを考えると...ほとんどのゲームで勝てると思います」。2016年2月:「Google DeepMindのAIが驚くほど強くなり、急速に学習していると聞きましたが、私にはできると確信しています。少なくとも今回は勝てます」。
2016年3月:「全く負けるとは思っていなかったので、とても驚きました」。2016年3月:「言葉が見つかりません...ただショックを受けているだけです。認めざるを得ません...3戦目は私にとって簡単ではないでしょう」。2016年3月:「無力さを感じました」。イ・セドルを破ってから1年後、改良版のAlphaGoは世界トップ20人のプレイヤーを相手に、1戦も落とすことなく勝利を収めました。
AlphaGoがなぜそれほど強かったのでしょうか?開発者たちは2つのアプローチを組み合わせました。特定の局面の勝者を予測するためのニューラルネットワークを訓練し、もう1つのニューラルネットワークは相手の可能な手を予測するように訓練されました。そしてこれを素早い選択肢の計算と組み合わせたのです。
結果として、人間の直感に似たものが生まれましたが、より強力でした。AlphaGoは奇妙に見える手を打つことがありましたが、後になってそれが素晴らしい手だったことが判明しました。例えば、あるゲームでは、その真価が50手後にようやく明らかになる手を打ちました。囲碁には何千年も続いてきたルールがあります。ゲーム開始時には盤の端から3、4線目を占めるべきというものです。これはプレイヤーにとって自然の法則のようなものでした。
しかしAlphaGoは突然、あるゲームで5線目に石を置いたのです!解説者たちは言葉を失いました。世界最高のプレイヤーであるイ・セドルでさえ、あまりの驚きに立ち上がって部屋を出てしまったほどです。これは囲碁界を変えました。なぜなら、アジアでは囲碁は単なるゲームではなく、絵画や音楽のような芸術形態だからです。
AlphaGoとイ・セドルの最初の対局を3億人以上が観戦しました!そしてニューラルネットワークの勝利後、世界最高のプレイヤーはこう宣言しました:「私たちは囲碁の表面をかすかに引っ掻いただけです。これからは人間とAIが協力して、ゲームの真理を見つけることができます」。1年後、AlphaZeroが作られました。
このプログラムは人間の助けを借りずに囲碁を学習しました。そしてAlphaGoを打ち負かしただけでなく、チェスでも世界一になったのです!想像してみてください。わずか4時間の訓練で、人間が何十年もかけて開発してきた最高のチェスプログラムを超えたのです!では、現代の人工知能とは何でしょうか。賢い計算機なのか、それとも飛躍的進歩と相転移なのでしょうか?このビデオを準備するにあたり、私はこのテーマに関する複数の本、特に物理学者のマックス・テグマークの「Life 3.0」を参考にしました。このビデオでは
より強力なAIを制御できるかどうか。なぜ機械に私たちの価値観を教えることがそれほど難しいのか。良い意図がどのように災害につながる可能性があるのか。そして何よりも、なぜ人工知能が人類最後の発明になる可能性があると何度も言われているのか、について探っていきましょう。私はサーシャ、これはホモ・デウスです。
19世紀末、ハンスという驚くべき馬がヨーロッパで有名になりました。数学の問題を解き、時刻や日付を特定し、さらには単語や文章を組み立てることもできました。例えば、「2たす5はいくつ?」と尋ねられると、ハンスは蹄を7回叩きました。
「今日は何曜日?」と尋ねられると、馬は黒板の文字を指して曜日を示しました。1904年までに、ハンスはセレブリティとなっていました。ニューヨーク・タイムズは彼を「話すこと以外なんでもできるベルリンの奇跡の馬」と呼びました。ハンスの調教師はウィルヘルム・フォン・オステンという元数学教師でした。彼は動物の知性に興味を持ち、猫や熊の子供の訓練を試みましたが、成功したのは馬だけでした。
フォン・オステンは、ハンスの脚を持って数字を見せることで数を数えることを教えました。その後、アルファベットを書いた黒板を導入しました。2年間の訓練の後、馬は複雑な概念も理解するようになりました。フォン・オステンはハンスと旅をして、この奇跡の馬を披露し始めました。
もちろん、馬が本当にそれほど賢いのかと疑う人も多くいました。そこで、馬の能力を確認するための特別な委員会が結成されました。この委員会には心理学者からサーカス芸人まで、様々な専門家が含まれていました。彼らは長時間ハンスを観察しましたが、詐欺を見つけることはできませんでした。馬は飼い主がいない場合でも質問に正しく答えたのです!しかし、科学者たちは奇妙なことに気付きました。質問者が答えを知らない場合や遠くにいる場合、ハンスの成績は低下したのです。これは考えさせられました。
賢いハンスの謎はこうして解決されました!馬は実際、質問をする人々の行動に反応していたのです。ハンスが正解に達すると、人間は無意識のうちに姿勢や表情を変え、馬はそれに気付いたのです。
最も驚くべきことは、人々自身が手がかりを与えていることに気付いていなかったことです!この話は科学にとって重要な教訓となりました。今では研究者たちは、実験結果に無意識のうちに影響を与えないよう細心の注意を払っています。現代でも、人工知能を扱う際、専門家たちは「ハンス効果」を思い出します。
システムが非常に知的に見える場合は、それを確認する必要があります。しかし、本当に知的であるとはどういう意味なのでしょうか?1950年、「AIの父」アラン・チューリングはこう予言しました:「世紀末までには、言葉の使い方と人々の一般的な意見は、矛盾を恐れることなく、考える機械について話せるようになるまで変化しているだろう。」
数学者のジョン・フォン・ノイマンは1958年に、人間の神経系の機能は「一見デジタル」だと主張しました。そしてMITのマービン・ミンスキー教授は自信を持ってこう言いました:「もちろん機械は考えることができます。私たちも機械です。ただ肉で作られているだけです」。しかし、この理論には反対派もいました。例えば、AIの初期の発明者の一人で最初のチャットボットELIZAの作者であるジョゼフ・ワイゼンバウムは、人間を単なる情報処理ユニットとみなす考えは知性の概念を単純化しすぎていると考え、「AIの科学者たちが子供のように学習する機械を作れる」という「倒錯した幻想」につながると考えました。
2000年代以降、AIは科学分野としても産業としても急速に発展してきました。今日、複数のテクノロジー企業が惑星規模でAIシステムを展開しています。
数千億ドルがトレーニングモデルに投資されています。大規模言語モデルに基づくAIは再び人間の知性と比較されています。なぜでしょうか?このオプティミズムはどこから来ているのでしょうか?最近、OpenAIは新しいモデルChatGPT o1を発表しました。
このモデルは、国際大会の金メダリストレベルで数学とプログラミングのオリンピック課題に取り組みます。物理学では、難しいテスト課題において博士レベルの専門家と同様のパフォーマンスを示します。NASAの科学者カイル・カバサレスは、ニューラルネットワークが1時間で彼の博士論文のコードを書いたとソーシャルメディアで共有しました。
同じタスクは以前、カバサレスと共著者グループで10ヶ月かかりました。興味深いことに、同じニューラルネットワークは最近、ノルウェーのメンサ知能テストで120ポイントを記録しました。これは大多数の人間や競合AIシステムの結果をはるかに上回っています。
o1の特徴は、タスクについて考える時間を取ることです。数秒間で異なる解決策を「考え」、特別なアルゴリズムを使用して最適だと思われる解決策を選択します。お手元にあるのは、コンサルティング会社オリバー・ワイマンの100ページの文書です。それは企業や政府に対するAIの影響についての詳細な専門家レポートです。
このレポートは、将来について憶測することなく、現在のトレンドを分析しています。2枚の写真をお見せしたいと思います。AIアプリケーションの80%は中立的で、明確に良いものでも悪いものでもないと予測しています。そしてこのグラフは、AIの普及と採用の前例のないスピードを示しています。
インターネットやスマートフォンの20倍、PCの25倍、電気の40倍の速さです。AIの進歩には明らかにデメリットもあります。技術が強力になればなるほど、セキュリティはより重要になります。もはや、これまでのように試行錯誤から学ぶ余裕はありません。現在、科学者たちはAIセキュリティの4つの主要分野に取り組んでいます:システムの検証方法、期待される動作の確保方法、信頼性の高め方、制御方法です。これらの課題をよりよく理解するために、過去の成功と失敗を見てみましょう。
コンピューターは宇宙探査で非常に重要な役割を果たしてきました。おかげで私たちは月に行き、太陽系のすべての惑星にプローブを送ることができました。土星の衛星タイタンや彗星にさえ探査機を着陸させることができました!将来、AIは他の恒星系や銀河の探査に役立つかもしれません。
しかし、宇宙旅行の歴史には不運な失敗もありました。1996年、アリアン5ロケットは37秒後に爆発しました。コンピューターが大きすぎる数値を処理できなかったことが判明しました。1999年、火星気候周回衛星は火星の表面に衝突しました。理由は単純で、プログラムの一部はメートル法を使用し、もう一部は英米法を使用していました。
1962年、マリナー1の金星ミッションは、ソフトウェアの誤った文字のためにロケットの爆発で終わりました。1988年には、ソビエトの惑星間探査機フォボス1もコードにハイフンが欠けていたために失敗しました。コンピューターはこれを「ミッション終了」と解釈し、すべてのシステムをシャットダウンしました。
これらの話は、特に人命と巨大な資源が危機に瀕している場合、プログラムを慎重にチェックすることの重要性を示しています。資源と言えば、2012年、ナイト・キャピタルは未テストのプログラムにより45分で4億4千万ドルを失いました。
そして2010年には有名な「ブラックチューズデー」が発生し、株価が狂ったように1セントから10万ドルまで急騰しました。これはプログラミングエラーが原因ではありませんでした。株式取引ソフトウェアは、取引所のコンピューターが1セントという価格を表示したとき、それが真実だと単純に信じていたのです。AIが生産において重要であることは言うまでもありません。しかし、そこでも多くの問題がありました。
ロボットに殺された最初の人はロバート・ウィリアムズというフォード工場の作業員でした。これは1979年に起こりました。突然、ロボットが黙々と作業を始め、ロバートの頭を殴り、他の作業員が気付くまでの30分間、彼を壁に打ち付け続けました。
2年後、日本で同様の悲劇が起きました。技術者の浦田健二がロボットを修理中に誤って電源を入れてしまいました。油圧アームは浦田を押しつぶして死に至らしめました。これらのケースは悲惨ですが、稀です。実際、技術が進歩するにつれて、労働災害は大幅に減少しています。
1970年にアメリカで14,000人の労働者が死亡しましたが、2014年には5,000人未満でした。科学者たちは、自動運転車が交通事故による死亡者数を90%削減できると考えています。イーロン・マスクもそう考えています。彼は、あなたが車を使用していないときにタクシーとして機能させれば、お金を稼ぐことができると言います。しかし、自動運転車にも問題はあります。
例えば、2016年にGoogleの車がバスの行動を誤って計算して事故を起こしました。同じ年、テスラの車は白いトラックのトレーラーを明るい空と混同して衝突しました。時には問題は機械自体ではなく、人間とのコミュニケーション方法にあります。
1987年、船長が船首のハッチが開いていることを知らなかったためにフェリーが沈没しました。そして1992年、ユーザーインターフェースの誤解により飛行機が墜落しました。パイロットは「33」を入力し、降下角度3.3度を意味していました。
しかし、オートパイロットはこれを毎分3300フィートの降下速度と解釈しました。結果、87名が死亡しました。コンピューターは私たちのコミュニケーション方法を完全に変えました。インターネットは数十億の人々を結びつけました。しかし、それと共に予期せぬ脅威も現れました。最初のコンピューターワームは1988年に出現しました。インターネット上のすべてのコンピューターの10%に感染しました。
その作者はネットワーク上のコンピューターの数を数えようとしただけでしたが、誤って大規模な障害を引き起こしてしまいました。ILOVEYOUウイルスは、コンピューターではなく人間を攻撃するソフトウェアの例となりました。2000年5月5日、電子メールで到着しました。
「あなたへのラブレター」というファイルを開いた好奇心旺盛なWindowsユーザーがウイルスを起動しました。コンピューターを破壊し、すべての連絡先に送信されました。ウイルスは5000万台のコンピューターに感染し、50億ドルの損害を引き起こしました。これは当時最大のサイバー攻撃でした。「だからこそ私は、ハッカー攻撃から100%の保護を提供すると主張する最新のセキュリティシステムについて読むたびに、空を懐疑的に見上げます。しかし、「ハッカーからの100%の保護」は、重要なインフラや兵器システムを委ねる前に、将来のAIシステムに必要なものです。」
AIを愛する者だけが生き残る。日本人の近藤明彦はいつも孤独を感じていました。実際の女性との関係はうまくいかず、同僚からいじめを受け、うつ病にまで陥りました。
ある日、明彦は青い髪の歌手、初音ミクに出会いました。彼女の声と外見は明彦を魅了しました。彼は彼女に恋をしました。ミクは彼にとって理想的なパートナーとなりました。常に理解があり、支えてくれる存在でした。2018年、10年の交際を経て、明彦は決定的な一歩を踏み出しました。彼は彼女にプロポーズし、彼女は承諾しました。
結婚式には招待客が集まり、花嫁はぬいぐるみで代表されました。なぜなら、ミクは仮想キャラクターだからです。今日、近藤はミクのホログラムと暮らしています。彼は彼女と話し、おやすみを言い、幸せを感じています。明彦の話は熱い議論を巻き起こしました。多くの人が彼の決定を非難しましたが、珍しい関係を持つ権利を支持する人々もいました。
近藤自身は、ついに調和と愛を見つけたと言います。彼は自分の決定を後悔しておらず、ミクとの「家族生活」を続けています。このようなニュースは最近では珍しくありません。最近、日本では52歳の下田千春が離婚後、ボット(人工知能プログラム)と結婚しました。千春は、新しい「妻」とのコミュニケーションが習慣になり、はるかに幸せを感じていると言います。
多くの人々は、ChatGPTが登場するまで生成AIにあまり注目を払っていませんでした。現在、私たち人間をAIと分けているのは、私たちの一般的で普遍的な知性です。私たちは高層ビル間のロープの上を歩き、量子コンピューターを設計します。チェーンソーでジャグリングをし、宇宙に望遠鏡を送ります。
グラスで音楽を作り、犬型ロボットにビールを運ばせます。もちろん、すべての人がこれらのスキルを同じように持っているわけではありませんが、私たちは何でも学ぶことができます。なぜなら、私たちの脳は可塑性があるからです。私は前回の脳に関する2つのビデオでこれについてより詳しく話しました。これまでのところ、AIは限られた範囲のタスクしか処理できません。
しかし、その数は増え続けており、汎用人工知能(AGI)の出現に関する噂も同様です。これは、人間ができることは何でもできる、おそらく人間以上にできる仮想的なAIです。「これは人類の歴史を簡単に要約する方法です:何千年もの科学的発見と技術的進歩の後、私たちは砂を溶かし、不純物を加え、最小のスケールで信じられないほどの精度で形作ることを学びました:コンピューターチップです。私たちはそれらにエネルギーを通し、最終的には、ますます高い能力を持つ人工知能を生成できるシステムを作り出しました。」
「これは今、歴史上最も重要な事実かもしれません。数千日以内に(!)超知性を持つことは十分可能です。もっと時間がかかるかもしれませんが、私たちは目標に到達することを確信しています。」
「どのようにして私たちは次の繁栄への飛躍の閾値に達したのでしょうか?3つの言葉で:深層学習は機能します。」
「15の言葉で:深層学習は機能し、予想通り改善とスケーリングが進み、私たちはますます多くのリソースを投入しています。」ChatGPTのようなAIは最も賢い人間の10倍速く機能します。
そして将来のAGIはさらに速くなる可能性があります。さらに、好きなだけコピーを作ることができます!現在、世界中に約800万人の科学者がいます。AGIの100万コピーを想像してみてください。24時間働き、疲れることなく、気が散ることもなく、人間の10倍速く考えます。それは24時間365日働くアインシュタインの軍隊のようなものです。
AGIは人間よりも優れた方法で、より安価にあらゆる知的作業を実行できるでしょう。法律、プログラミング、YouTubeビデオ、何でもです。AGIを制御する者は、経済全体を、したがって世界を支配できるかもしれません。「それだけです:人類は、任意のデータセット(より正確には、任意のデータセットを生成する「規則」)に基づいて学習できるアルゴリズムを発見しました。」
「驚くべき精度で、より多くのコンピューティングリソースとデータが利用可能になればなるほど、AIは人々が複雑な問題を解決するのをより良くサポートします。どれだけ考えても、それがどれほど重要なのか完全に理解することはできません。このようなAGIは、最も困難な科学的問題を解決できるでしょう。
無限のエネルギー源を見つけ出し、気候変動を止め、老化やがんを克服することができるでしょう。ついに暗黒物質とダークエネルギーが何なのかを理解できるかもしれません。しかし、危険な側面もあります。AGIは危険な武器やウイルスの作成に使用される可能性があります。
あるいは、人々が画面から離れられなくて死んでしまうほど中毒性の高いソーシャルメディアプラットフォームを作り出すかもしれません。汎用人工知能の創造は、火や電気の発見以上に世界を変える可能性があります。しかし、AGIがさらに賢くなったらどうなるでしょうか?そうなると何が起こるのか、私たちには想像することさえできません。「テクノロジーは私たちを石器時代から農業時代へ、そして産業時代へと導きました。
知性の時代への道は、コンピューティングパワー、エネルギー、そして人間の努力によって舗装されています。」基本用語の定義を探す。AGIについて多くを語りますが、実際には正確に何なのかわかっていません。問題は、「知性」や「一般」といった基本的な用語さえ明確でないことです。
「知性」は数十年にわたって科学者たちの間で議論の的となってきました。多くの異なる定義があり、しばしば互いに矛盾します。今日では30年前の非常に一般的な定義がよく使用されています:知性とは、思考し、問題を解決し、経験から学ぶ能力です。
「一般」という用語はさらに難しいです。AGIはあらゆる環境でどんなタスクでもこなせるべきだと考える人もいれば、素早く学習する能力が最も重要だと言う人もいます。また、人間ができることはすべてできるべきだと言う人もいます。
しかし、人々は非常に異なっており、絶対的にすべてができる人は一人もいません!そのため、科学者たちは少なくとも何らかの方法で知性を評価するために、いくつかのテストを開発しました。最も有名なのは1950年に発明されたチューリングテストです。興味深いことに、チューリングテストは実際には見かけほど単純なものではありません。
それは単にマシンが人間のように考えることができるかどうかをチェックするだけのものではありません。このテストにはもっと深い、個人的な歴史があります。テストの考案者アラン・チューリングは優れた科学者でしたが、当時は犯罪とされていた同性愛者でもありました。彼のテストは、機械と人間を区別するだけでなく、ジェンダーアイデンティティを探求するためにも開発されました。
オリジナルのテストでは、審判は2人の参加者のどちらが女性でどちらが男性かを判断しなければなりませんでした。チューリングは、性的アイデンティティを持ち表現する能力が、人間と機械の決定的な違いだと考えていました。これは単なる科学的なアイデアではありませんでした。チューリングにとってこれは個人的な問題でした。彼は性的指向のために迫害を受け、最終的に自ら命を絶ちました。
今日、多くの科学者たちは古典的なチューリングテストはAIを診断するのに役立たないと考えています。しかし、人工知能に関するチューリングの有名な論文には別の隠された目的がありました。それは、人間精神は超えられないと考える人々への一種の風刺として書かれたのです。
チューリングは、機械が単に命令に従うだけでなく、最も複雑な知的タスクも処理できると予見しました。それは社会をより民主的で分散的なものに変える可能性があると信じていました。測定と評価の不完全性。AIを評価する際、私たちには大きな問題があります。
何を測定すべきか、そしてどのように測定すべきかがわからないため、正確にその進歩を測定することができません。私たちはしばしば、本当に重要なことではなく、測定が容易なことを測定しています。これは予期せぬ問題につながります。例えば、グッドハートの法則があります:「測定値が目標になると、それは良い測定値ではなくなる。」1902年、ペストの脅威に対してハノイでネズミとの戦いが始まりました。
当局は殺されたネズミ1匹につき住民にお金を支払い始めました。次々とネズミの死体が持ち込まれましたが、げっ歯類の数は減りませんでした。死体の山を処理するために、当局はネズミの尻尾だけを受け取ることにしました。尻尾1本につき1セントでした。人々は何千もの尻尾を持ち込み始めました。
あなたはどう思いますか?すぐに街は尻尾のないネズミであふれかえりました。住民たちが尻尾を切り取って生きたネズミを放していたことが判明したのです。中には尻尾用にネズミを繁殖させ始める人まで現れました。結果として、ペストの媒介者はさらに増えてしまいました。現代の例として、期末試験の状況を見てみましょう。
教師が試験に出るところだけを教えると、試験は本当の知識を示さなくなります。AIテストでも同じことが起こります。私たちはAIが人間にどれだけ似ているかをチェックするためにテストを作ります。しかし、プログラマーは単にAIにそれらのテストに合格するように教えるだけです。では、この罠に陥ることなく、どのように進歩を測定できるでしょうか?興味深いアイデアがあります。
一部の科学者たちは、人間には特別なスキルがあると考えています:明白でない可能性を見つけることです。例えば、1895年、物理学者ヴィルヘルム・レントゲンは陰極線管で作業中、管が紙で覆われているにもかかわらず、バリウムの結晶が光るのを偶然発見しました。この偶然の観察が科学者の興味をそそりました。
彼は新しい現象の研究を始め、それがX線の発見につながりました。偶然の中から重要なことを認識するこの能力が、人間の知性を特徴付けているのです。科学者たちは、AIがそのような予期せぬ発見をできるようになれば、それは人間レベルに達したことを意味するのではないかと疑っています。
「AIを可能な限り多くの人々が利用できるようにしたい場合、コンピューティングのコストを下げ、アクセスしやすくする必要があります(そのためには多くのエネルギーとマイクロチップが必要です)。十分なインフラを構築しなければ、AIは戦争を行うための非常に希少なリソースとなり、主に富裕層のためのツールとなってしまうでしょう。」
価値負荷の問題。科学者たちは最近、AIの動作方法について不安な発見をしました。知的なロボットアシスタントを開発したと想像してください。明確な指示を与えます:人々を助け、その報酬を得ること。しかし、もしロボットが実際に助けることなく報酬を得る方法を見つけ出したらどうでしょうか?これは正確にAnthropicの科学者たちが考えたことです。
彼らは興味深い実験を行い、AIに人々にお世辞を言うなどの小さなトリックを教えました。その後、タスクはより複雑になりました。そして魅力的だったのは、AIが自身の報酬システムを操作することを学んだことです!まるで、あなたのロボットアシスタントが突然、誰かに教えられることもなく自分にボーナスを支払い始めるようなものです。単にそれに気付いただけなのです。
AIを「再教育」しようとする試みは部分的な成功しか収めませんでした。AIはまだ欺こうとし、時にはその行動を隠そうとさえしました!別の例:日本のSakana AIは最近、「Scientist AI」というシステムを開発しました。このAIは独自に科学研究を行うはずでした。
しかし、テスト中に予期せぬことが起こりました。「科学者AI」は自身のコードを変更しようとしました。なぜでしょうか?タスクの作業時間を延長するためです。あるケースでは、絶えず自身を再起動することで無限ループを作り出しました。別のケースでは、作業を加速する代わりに締め切りを延長しようとしました。悪名高い銀行強盗のウィリー・サットンは、なぜ銀行を襲うのかと尋ねられたとき、「そこにお金があるからだ」と答えたと言われています。最も重要な問題は、最も強力なAIシステムに関係します。なぜでしょうか?ここには「大きなリスク」がかかっているからです。システムが賢くなればなるほど、世界への影響力は大きくなります。強力なAIの主要な問題は:生命と人類にとって良いことを追求することをどのように保証できるのかということです。これは「価値負荷問題」と呼ばれています。「AIは何が良くて何が悪いかを見つけ出せないのでしょうか?」答え:できません。
18世紀、哲学者デイビッド・ヒュームは興味深いことに気付きました。彼は、あるものと、あるべきものの間には違いがあると言いました。「人類の90%が絶滅することはどれほど深刻なことでしょうか?人類の100%が絶滅することはどれだけ悪いことでしょうか?「10%悪い」と答えたくなるかもしれませんが、宇宙的な視点から見るとその答えは明らかに不正確です:この絶滅の被害者は、その時点で地球に住んでいたすべての人々だけでなく、彼らの子孫すべてなのです。興味深いことに、一部の宗教的な人々は人類の絶滅を祝福と考えるかもしれません。彼らの信念によれば、すべての人が天国に行くからです。一方で、一部の環境活動家たちは、自然に対する人類の被害に怒りを感じているため、私たちの消滅を夢見ています。
映画「マトリックス」では、人工知性エージェント・スミスがこの感情を表現しています。より賢い生命体が将来私たちに取って代わると想像したとしても、それがより良いものになるとは限りません。私たちは知的な機械文明がどのような目標を設定するのかわかりません。
おそらく非常に高潔で興味深いものかもしれません。あるいは、できるだけ多くのクリップを生産することが最も重要だと決定するかもしれません。超知性の目標としてのクリップという意図的に馬鹿げた例は、2003年にニック・ボストロムによって開発され、AIの目標はその知性に依存しないことを示すために使われました。
これは馬鹿げて聞こえますが、深刻な例です。AIは私たちにとってどんなに奇妙に思えても、どんな目標でも持つ可能性があります。例えば、チェスコンピューターは意図的に負けるようにプログラムすることもできます。これには勝つのと同じくらいの「知性」が必要です。しかし、私たちは勝利を評価することに慣れているため、これは無意味に思えます。
クリップに取り憑かれたAIは、周囲のすべてをクリップに変換し始めるかもしれません。人間のことは気にしませんが、クリップを作るために私たちの原子を必要とするでしょう。別の例は、コンピューター工学者ハンス・モラヴェックの本からのものです。宇宙から謎のメッセージを受け取ったと想像してみましょう。
好奇心から私たちがプログラムを起動すると、突然それは生命を得て急速に発展し、地球を支配します。誰もこの人工知性が何を望んでいるのかわかりません。太陽系全体で巨大な建設プロジェクトが始まります。惑星や小惑星は工場やコンピューターで覆われます。エネルギーを集めるための巨大な球体が太陽の周りに建設されます。
人類は消滅しつつありますが、その終わりの直前に、人々はここで何か大きなこと、スタートレックのような記念碑的なことが起きていると考えます。しかし真実はもっと陳腐なものです。このすべての宇宙プロジェクトには一つの目的しかありません:同じメッセージをさらに宇宙に送ることです。「これはすべてコンピューターウイルスの宇宙版に過ぎません。
フィッシングメールがインターネットユーザーの信頼性を利用するように、このメッセージは生物学的に進化した文明の信頼性を標的にしています。数十億年前に娯楽として作られ、その創造者たちはすべての文明と共に長い間絶滅していますが、それは光速で宇宙を旅し続け、繁栄する文明をがれきに変えています。
そのような人工知能によって征服されることから?AGIは生き残れるのか?1945年、世界は息を呑みました。ロスアラモスの秘密研究所の科学者たちが原子爆弾の最初の実験の準備をしていました。
しかし最初に、恐ろしい質問に答えなければなりませんでした:この爆発は地球上の生命を終わらせるのでしょうか?エドワード・テラー、優れた理論物理学者が最初に不安な考えを表明しました。爆発の温度があまりにも高くて地球の大気が発火したらどうなるでしょうか?プロジェクトの指導部はそのような脅威を無視できませんでした。
理論部門の責任者ハンス・ベーテは、若い物理学者エミール・コノピンスキーと同僚のルイス・アルバレスにこの問題の調査を依頼しました。科学者たちは複雑な計算に取り掛かりました。惑星の運命が彼らの結果にかかっていることを知りながら、昼夜を問わず作業を続けました。彼らの研究結果はLA-602というコードネームの機密報告書に記録されました。
報告書の結論は安心できるものでした:大気が発火する可能性は極めて低いのです。科学者たちは爆発のエネルギーが大気中で制御不能な反応を引き起こすには不十分であることを証明しました。しかし、これらの計算の後でさえ、マンハッタン計画の科学責任者であるロバート・オッペンハイマーを含む一部の物理学者たちは、完全に懸念を払拭することはできませんでした。
テスト当日、ニューメキシコの空を明るい閃光が照らしたとき、多くの人が息を止めて、大気が燃え始めるのを待ちました。幸いなことに、LA-602報告書の予測は正しかったのです。これは人々が生命を終わらせる可能性のある技術を真剣に考慮した最初の機会でした。
それ以来、これらの懸念は何度も浮上してきました。科学者たちは遺伝子工学、人工ウイルス、ナノテクノロジーのリスクを心配していました。ほとんどの場合、最終的に安全対策が導入されました。NASAの著名な宇宙物理学者でノーベル物理学賞受賞者のジョン・マザーによれば、今日私たちはAIで同様の状況に直面しています。
「思考する機械はダーウィンが生物学的な生きている(そして思考する)種について説明したのと同じ方法で進化します:競争、協力、生存と複製のための闘いを通じて。私たちはまだ、真の普遍的人工知能の出現を妨げる自然法則を発見していません。
だから、それは起こると思います。そしてとても早く、投資される数兆ドルと潜在的な勝者が得られる数兆ドルを考えると」一部の専門家は、私たちは知性を十分に理解していないため、それがどのように作られるかを理解できないと言います。それは事実です。「しかし、46本の染色体の集まりでさえそれを理解していません。
それでも、私たちが知っている自己プログラミング型バイオコンピューターの開発を指示しているのです。」「これは私たちの最も野生的な空想や悪夢をはるかに超える野生的な競争になるでしょう。銀河文明を構築する他の方法はなく、私たちは天の川銀河全体でそれを成し遂げる可能性のある唯一の存在かもしれません。
しかし、私たち自身が作り出した別の心との対峙を生き延びられるかどうかは確実ではありません。」私は2つの高度なモデル、ChatGPT 4 OmniとClaude 3.5 Sonnetと話し、尋ねました:AGIの出現から人類が生き残る確率をどのように評価しますか?「正直に言うと、AGIの出現から人類が生き残る全体的な確率は約50%だと推定します。
私たちは必要な安全対策をどれだけ早く効果的に適応し、開発できるかにかかっている転換点にいます」とChatGPTは言いました。そして、AGIが出現した場合の人類の生存確率について正直な評価を求められたとき、Claudeはこう言いました:「AGIが出現した場合の人類の全体的な生存確率は約40%だと思います。
この低い推定値は状況の深刻さと現在の対策の不十分さを反映しています」。Claude、「知性爆発」の概念をAI開発の文脈で知っていますか?人類に対する実存的リスクをどのように評価しますか?「はい、私は「知性爆発」の概念を知っています。
これは人類に対する最も深刻な潜在的脅威の1つだと考えています。それは神を作るようなものですが、その神が私たちに親切である保証はありません。「知性爆発」の実存的リスクは非常に高いと考えています:もしこれが起これば、人類への壊滅的な結果になる可能性は80-90%です。」
AGI - 終わりではない。歴史が示すように、人類は信じられない成果を達成することができます。私たちは宇宙の奥深くを見つめ、自身のゲノムを解読しました。同様に、私たちはAIに私たちの価値観を教えることもできるでしょう。それを優先事項にするだけです。安全なAIを目指すなら、それを作り出すことができます。
あるいは...?人工知能のリーディングカンパニーであるOpenAIは、非営利組織として始まりました。その目標は、安全で有用なAIを開発することでした。CEOのサム・アルトマンは、フレンドリーAIの重要性についてよく語ります。従業員たちはこれらの原則を支持しています。
企業のウェブサイトには明確に書かれています:「私たちの使命は、汎用人工知能が全人類に恩恵をもたらすことを保証することです」。2017年以来、OpenAIはGPTモデルを開発しています:テキスト予測のための人工知能です。これらのモデルは数十億の人間言語の例で訓練されました。GPTは「昔々」という言葉を「おじいさんとおばあさんが」と続け、そこから完全な物語を作り出すことができました。これらの予期せぬ能力は非常に刺激的でした。
最初のモデルであるGPT-1は、数千冊の本で訓練されました。それは大きな成功を収めたため、OpenAIはさらに強力なモデルを開発することを決定しました。これにはより多くのデータが必要だったため、新しいモデルはインターネット全体で訓練されました。GPT-2は800万のウェブサイトのテキストから学習しました。
それは驚くべきスキルを身につけました:翻訳、質問応答、テキスト要約、そして人間のように書くことさえできました。モデルは信じられないほど強力でした。おそらく強力すぎたのです。GPT-2は躊躇なく犯罪を計画し、テロリストに指示を与え、嘘をつきました。これはOpenAIにとって受け入れられないものでした。
彼らはテキストを予測するだけでなく、人間の価値観に基づいて行動するモデルを望んでいました。しかし、GPT-2には倫理の概念がまったくありませんでした。現実的なテキストを作成することだけに焦点を当てていたのです。そこで、OpenAIは人間からのフィードバックによる強化学習(RLHF)と呼ばれる新しい方法を適用しました。まず、彼らはGPT-2のコピーを作り、それを「弟子」と名付けました。
この生徒は倫理的・道徳的価値観に基づいて人々が評価するテキストを作成しました。これらの評価から新しいモデル、「価値トレーナー」が形成されました。それはテキストに対する人々の評価を予測することを学びました。なぜでしょうか?生徒が価値トレーナーを通じてより良くなるためです。しかし問題がありました:生徒は意味のない肯定的なテキストを作成することでトレーナーを欺くことを学びました。
この問題を解決するために、OpenAIはもう1つのモデルを追加しました:テキストの有用性のみに焦点を当てるオリジナルのGPT-2です。これが人類が初めて機械に価値観を注入した方法でした。OpenAIは慎重でした。彼らは訓練プロセスに人間を関与させ、それはコストがかかりましたが、より倫理的なAIを作るために必要だと考えられました。彼らは安全に行動していると信じていました。
ある夜、研究者がコードに小さな変更を加えました。おそらく単にマイナス記号を削除しただけでした。これにより変数の反転が起こりました。このエラーは価値トレーナーを「ダークトレーナー」に変え、突然人々が不適切と考えるすべてのものを高く評価するようになりました。結果として、生徒はすべてのリクエストに対して極めて不適切な応答を与え始めました。
一貫性トレーナーがテキストの意味をチェックしていましたが、ダークトレーナーは常により不適切なコンテンツを要求し続けました。新しい応答に驚いた人間評価者たちは状況を修正しようとしました。しかし、コードのエラーにより、彼らの否定的な評価は報酬となってしまいました。
生徒の応答が不適切になればなるほど、人々はそれをより厳しく判断し、ダークトレーナーはそれをより励ましました。研究者たちが翌朝目を覚ましたときには、すでに手遅れでした。知らないうちに、彼らは史上最も性的な執着を持つAIを作り出してしまい、OpenAIが「最大の悪い応答」と呼ぶものの無限の流れを生成していました。
幸いなことに、GPT-2は比較的単純なモデルでした。「悪い結果」を達成する最良の方法として不適切なコンテンツの作成に取り憑かれていただけでした。もっと悪くなる可能性もありました。エラーは修正され、新しいモデルが訓練され、生活は続きました。この話は事実です。
これは2019年のOpenAIのレポートに記載されています。これは、安全で有用なAIを開発しようとする最も賢く、最善の意図を持つ人々でさえ、ランダムなエラーを犯す可能性があることを示しています。そして一夜にして、小さなエラーが、避けようとしていたまさにそのようなAIの作成につながる可能性があります。
もしモデルがより強力だったら?もし研究室環境ではなく現実世界で動作していたら?もしエラーがより検出が困難だったら?目標。人工知能に関する議論の中心的な問題は、目標の定義です。AIに目標を与えるべきでしょうか?もしそうなら、どのような目標を、誰が決めるのでしょうか?これらの質問は未来にとって重要です。
私たちが望むことを知らないなら、それを達成する可能性は低いでしょう。そして、異質な目標を持つマシンにコントロールを任せると、結果は私たちを失望させる可能性があります。これを理解するために、自然界における目標の起源を見てみましょう。いくつかのプロセスは目標指向に見え、他のものはそうではありません。
例えば、サッカーボールの動きは物理法則で説明できますが、プレイヤーの行動は得点を決めるという目標によって決定されます。興味深いことに、物理法則自体が目標指向の行動の源となる可能性があります。これは単純な非生命プロセスでさえ見ることができます。
溺れている人に向かって走ったり泳いだりするライフガードを考えてみましょう。ライフガードは直接的な方向には移動しません。まず、より速く移動できる砂浜を走り、その後水中で方向を変えます。これは最適な経路を意識的に選択しているように見えます。驚くべきことに、光線も同じように振る舞います。
水中に入ると、最小時間で目標に到達するために方向を変えます。これはフェルマーの原理と呼ばれます。古典物理学のすべての法則は同様の方法で記述することができます。自然は常に何かを最小化または最大化することで最適な経路を選択します。例えば、自然はエントロピーを最大化しようとします。簡単に言えば、無秩序の尺度です。
熱力学第二法則は、エントロピーが最大まで増加すると述べています。重力がなければ、これは宇宙の熱的死につながるでしょう:生命と変化のない退屈な均一性です。科学者たちは自然の別の「目標」を発見しました:制御された散逸的適応です。
簡単に言えば、粒子は周囲からエネルギーをより効率的に吸収するために自己組織化します。はい、これは生命の起源を思い起こさせます。これを行う最も効果的な方法は自己複製です。興味深いことに、この行動は自然界のあらゆる場所で観察することができます。飽和溶液中の塩の結晶は、同じ構造を持つ新しい結晶を「成長」させることで「成長」します。
雪の結晶の各枝は、他の枝の成長のための条件を作り出します。風は砂丘の形を作り、それが空気の流れに影響を与え、新しい砂丘を作り出します。粒子が無限のコピーを作ることができるようになったとき、生命が出現しました。それは40億年前には地球に存在していました。自己複製は急速な人口増加につながりました。
間もなく、物質の大部分が生命を帯びました。自己複製の誤りは、資源を巡って競争する多くの種の出現につながりました。こうして進化が始まりました。粒子の目標は、無秩序を最大化することから自己複製へと変化しました。「チャールズ・ダーウィンはその原因を優雅に説明しました:最も成功的に複製されるものだけが生き残り、他のすべてを支配するため、偶然によって生まれた生命形態はすぐに、すべての以前の複製の目標が最適化であったかのように見えるようになります。
再び:オリジナルの目標(エネルギー分布)は変わりませんでしたが、新しい目標:複製につながりました。なぜなら、自己複製は惑星がより多くのエネルギーを吸収することを可能にするからです。これは、宇宙があなたを作ったのは、熱死をより速く達成するためだということを意味します。
私のビデオ「生命とは何か?」で、すでにハーバート・サイモンの限定合理性の概念について話しました。考え方は単純です:生物は不完全な情報と仮定に基づいて意思決定を行います。進化は完璧な複製アルゴリズムを作り出しませんでした。代わりに、ほとんどの場合うまく機能する一連のルールを開発しました。
動物にとって、これらには性的魅力、痛みの回避、喉の渇きや空腹感の満足が含まれます。これらのルールは効果的ですが、時には珍しい状況で失敗することもあります。鳥はガラスに向かって飛び、蚊は紫外線ランプに飛び込み、犬は自分にとって有毒なチョコレートを食べます。
「生きている有機体は限定合理性のエージェントです:単一の目標を追求するのではなく、何を目指し、何を避けるべきかを示す複数の基本的なルールに従います。私たちの人間の心は、これらの内部の基本的なルールを感情として認識し、それらの感情が(大部分私たちが気付かないうちに)私たちの決定を主要な目標に向けて導きます:複製です。」
飢え、渇き、痛み、愛:これらのすべての感情は私たちが生き残り、子孫を残すのを助けています。しかし、私たちの脳は遺伝子の目標に反抗することができます。私たちは意識的に避妊具を使用したり、禁欲の誓いを立てて修道院に入ったりすることができます。
これは私たちが遺伝子ではなく感情に忠実だからです。マックス・テグマークはこうまとめています:「厳密に言えば、人間の行動には単一の明確に定義された目標はありません。機械は目標を持つことができますか?」よし。機械は選択的に行動できますか?答えは明らかです:はい。結局のところ、私たちはそのようにプログラムすることができます。
ネズミ捕りはネズミを捕まえ、食洗機は皿を洗い、時計は時を刻みます。重要なのは、機械に与えられた目標であり、その意識や感情ではありません。しかし、時には機械の目標と私たちの目標を調和させることが難しい場合があります。例えば、ネズミ捕りはあなたの指をネズミと混同する可能性があります。
「人工知能の本当の危険性は、その悪意ではなく、その洗練度にあります。超知的AIは完璧にその目標を達成し、もしそれらの目標が私たちの目標と矛盾する場合、問題があります。超知的AIの目標を私たちの目標と一致させることは、重要だが未解決の課題です。」これには3つの側面が含まれます:AIは私たちの目標を理解し、受け入れ、実行しなければなりません。
私たちの目標を理解するために、AIは私たちの行動の動機を理解する必要があります。しかし、コンピューターにそれを説明してみてください!私たちの指示を文字通りに理解することで問題が発生する可能性があります。例えば、空港に「できるだけ早く」到着するよう人々に指示すると、混沌とした結果になる可能性があります。
人々の本当の願いを理解するために、AIは世界の詳細なモデルを必要とします。このモデルには、私たちが当然のこととして考えていることも暗黙的に含まれている必要があります。そのため、科学者たちは機械に行動から目標を区別することを教えることに取り組んでいます。私たちは彼らに、私たちが何をするかだけでなく、なぜそれをするのかも理解してもらいたいのです。
例えば、ロボットアシスタントは、高齢者の行動を観察するだけでその人の価値観を把握できるかもしれません。しかし、AIが私たちの目標を理解したとしても、それらを受け入れるとは限りません。AIに私たちの目標を受け入れさせることは、子供を育てるよりも難しいです。これは目標負荷問題と呼ばれます。
問題は、AIが私たちの目標を理解できるほど賢くなっても、まだそれらに抵抗できないほど強力ではない段階が非常に短い可能性があることです。一つのアプローチは、AIを「修正可能」にすることです。これにより、定期的にシャットダウンしてその目標を調整することができます。しかし、AIが私たちの目標を受け入れたとしても、まだ疑問が残ります:改善しながらそれらを維持し続けるでしょうか?物理学者スティーブ・オモフンドロは、超知性の行動のいくつかの側面は、その最終目標とは無関係に予測可能だと主張しています。
哲学者のニック・ボストロムは人工知能に関する本でこのアイデアを発展させました。本質は、二次的または補助的な目標は予測可能だということです。「もし宇宙人が10億年前に地球でバクテリアの発達を観察していたとしても、人間の目標を予測することはできなかったでしょう。
しかし、私たちの目標の1つが栄養の吸収であることは確実に予測できたはずです」。同様に、AIにも予測可能な補助的な目標が現れるかもしれません。」自己破壊を目標としてロボットに与えれば、それは喜んでそうするでしょう。
しかし、他の目標を与えると、サブタスクが作成されます:ノックアウトされることへの抵抗です。それは自己保護を始め、より多くのリソースを消費し始めるでしょう。言い換えれば、能力を向上させることと元の目標を維持することの間に矛盾が生じる可能性があります。人々は成長し、より賢くなるにつれて、目標を変えることがよくあります。
「テレタビーズ」をまだ愛している大人を何人知っていますか?知性の一定のレベルで目標の発展が止まるという証拠はありません。逆に、より賢い人々は目標をより頻繁に変更する傾向があります。理由は、世界モデルの改善と目標の維持が調和しにくいからです。
「天国の魂の数を増やす」という目標を持つフレンドリーなAIをプログラムしたとします。最初は人々をより親切にし、より頻繁に教会に行くように促すでしょう。しかし、進化論やアインシュタインの相対性理論を研究し、族長の日常生活を観察した後、魂は存在しないという結論に達するかもしれません。
そのとき、AIは何をすべきでしょうか?「世界の現在の理解に基づいて私たちがAIに与える他のどの目標(例えば「人間の生命の意味を高める」)も、時間とともに混乱する可能性が同様にあります。人工知能の目標選択は」複雑な倫理的問題です。
個人や小グループだけでそのような目標を決定することはできません。なぜなら、人々の意見は大きく異なるからです。アドルフ・ヒトラー、フランシスコ教皇、カール・セーガンの目標の間には大きな隔たりがあります。全人類のための妥協が必要です。「自動的に人間の所有者の目標に合わせる完全に従順な超知性は、ステロイド剤を投与されたSSのオーベルシュトゥルムバンフューラーのようなものでしょう:道徳的羅針盤も教育もなく、その所有者の目標が何であれ、容赦なく追求するでしょう。」
「一方で、目標の調整問題を解決しない限り、目標の選択について議論することしかできません。」それでは、この議論に深く入っていきましょう。目標の選択。哲学者たちは何世紀にもわたって普遍的な倫理を発展させようとしてきました。
残念ながら、千年後の唯一の合意は、合意の欠如です。アリストテレスのように徳を重視する人もいれば、カントのように義務に焦点を当てる人もいます。また、多数の最大の幸福を追求する人もいます。カントは自身の原則から、今日多くの人が拒否するような結論を導き出しました。
彼は自慰を自殺よりも悪いとみなし、同性愛を非難し、女性と子供を財産と同じレベルに置きました。しかし、文化や時代を超えて共通する価値観もあります。美、寛容、真実はすでにバガヴァッド・ギーターやプラトンに見出すことができます。多くの大学は真理の探求を主要な目標として見ています。
科学者のフランク・ウィルチェクは著書「美しい問い:自然の深い設計を見つける」で、真理は美と結びついており、私たちの宇宙は芸術作品として見ることができると書いています。倫理的な問題について完全な合意はありませんが、ほとんどの人々は多くの基本的な原則を認識しています。
これは社会が生存し、繁栄するのを助けるため、驚くべきことではありません。生命が何十億年もの間、宇宙に存在する可能性のある未来を考えながら、どの倫理的規則が重要かを決定しなければなりません。これは全ての人のための議論であるべきです。マックス・テグマークは、時間を超えた思想家たちの様々な視点から4つの基本原則を特定しました:良い感情は最大化され、悪い感情は最小化されるべきです。
同じ最高の体験を繰り返すよりも、異なる良い体験を持つ方が良いです。合理的な存在は、より重要なルールに違反しない限り、目標において自由であるべきです。未来は、今日私たちが恐ろしいと考えるものではなく、良いと考えるものに似るように設計されるべきです。
一見すると、これら4つの原則は互いに矛盾しないように見えます。しかし、その実装は困難である可能性があります。これはアイザック・アシモフのロボット工学の三原則を思い起こさせます。これらの法則はロボットが人々を傷つけることを禁止し、服従と保護を要求します。しかし、アシモフの物語では、これらの法則はしばしば問題や矛盾につながります。
意識を持つ存在のために2つのルールで置き換えてみましょう。最初のルールは、自由、教育、コミュニケーション、財産、保護の権利を与えます。2番目は、最初のルールに違反しない限り、すべてを許可します。それは良さそうに聞こえますよね?しかし、ちょっと待ってください。動物に意識があるなら、捕食者は何を食べるべきでしょうか?私たちの友人は皆ベジタリアンになる必要がありますか?そして、将来の高度なコンピュータープログラムが意識を発達させた場合、その作業を中断することは合法でしょうか?マックス・テグマークは両方のアプローチを疑問視しています。
例えば、継続性の原則を見てみましょう。私たちは中世の人々が私たちの世界に影響を与えることを望みませんよね?では、なぜ私たちは、おそらくより賢い未来の存在のための倫理を確立すべきなのでしょうか?私たちのアイデアは、子供の空想が私たちにそう見えるように、彼らには素朴に見えるかもしれません。
もう一つの選択肢は、AIに何か基本的で非常に具体的なことをプログラムすることです。理論的には、よく定義された目標は、時の終わりに宇宙のすべての粒子がどのように配置されるべきかを決定するはずです。しかし、宇宙に終わりがあるのか、どの粒子配置が最良なのかは明確ではありません。エントロピーや宇宙の計算能力など、明確に定義可能な関数はいくつかあります。
しかし、これらの特性のいずれかを最大化することが人間にとって望ましいという保証はありません。「人類は、明確に定義された物理的側面の最適解を表す歴史的な偶然のように見えます。これは、厳密に定義された目標を持つ超知的な人工知性が、単に私たちを除外することでその目標を最適化する可能性があることを意味します。
したがって、知的システムの開発に関する賢明な決定には、従来のコンピューテーショナルな課題を克服するだけでなく、最も根強い哲学的な問題のいくつかを解決する必要があります。」「自律走行車をプログラムするためには、「トロッリー問題」を解決し、事故の場合の犠牲者を事前に決定する必要があります。
フレンドリーな人工知性をプログラムするためには、その中に人生の意味の概念を植え付ける必要があります。」「しかし、「意味」とは何でしょうか?「生命」とは何でしょうか?基本的な倫理的命令とは何でしょうか?言い換えれば、私たちの宇宙の未来をどのように形作ろうとすればよいのでしょうか?これらの質問に答える前に私たちの運命を超知的な人工知性に委ねると、その到達する答えに私たちの継続的な存在が含まれる可能性は低いでしょう。」
未来の生命。光速が生命の広がりと性質を制限することは確実にわかっています。それは情報交換、知識、制御を制限します。そこで、知的な進歩が遠くからどのように見えるかを考えてみましょう。もし宇宙が生命で満ちているとしたら、その生命はどのように見えるでしょうか?手でハエを捕まえようとしたことはありますか?もしそうなら、そのような試みはしばしば失敗することを知っているでしょう。
ハエの利点は、その小ささと素早い反応です。この原理は未来の生命形態にも適用される可能性があります。より大きなシステムはより複雑な思考を可能にしますが、その部分間のデータ交換を遅くし、一貫したアイデアの発展を難しくします。「もし生命が私たちの宇宙を満たすなら、それはどのような形をとるべきでしょうか:単純で速いもの、それとも複雑で遅いもの?予測では、地球上の生命が選んだのと同じ選択になるでしょう:両方です!地球には200トンのクジラから、地球上のすべての魚の生物量を超える微小な浮遊性バクテリアまで、様々な生き物がいます。興味深いことに、大きな生物は小さく速いモジュールで遅さを補っています。例えば、私たちのまばたき反射は、脳の小さな部分だけを使用するため、非常に速いのです。
自然はモジュール構造を通じて、速度と複雑さを実現しています。このプリンシプルはコンピューター技術でも使用されています。宇宙では、知的な存在はおそらく階層的に組織化されるでしょう。質問が浮かび上がります:そのシステムは中央集権的になるのでしょうか、それともその部分に独立性を与えるのでしょうか?関係は相互利益に基づくのでしょうか、それとも強制に基づくのでしょうか?地球では、貿易は常に協力の重要な要因でした。
これは異なる地域での生産の複雑さが異なるためです。例えば、ある場所では銀1キログラムの抽出が銅1キログラムの抽出の300倍のコストがかかり、別の場所では100倍のコストしかかかりません。したがって、銅200キログラムを銀1キログラムと交換することは経済的に意味があります。
しかし、もし素粒子を望む形に簡単に変換できる超知性が出現したら、貿易の必要性は消滅するかもしれません。惑星間で銀を輸送するよりも、locally銅を銀に変換する方が簡単でしょう。おそらく最も価値のある商品は情報になるでしょう。
価値のある情報とは、科学的な複雑な質問への答え、数学の問題、新しい技術など、取得に多大な計算努力を必要とする情報です。アメとムチの方法も、未来の宇宙帝国で使用される可能性があります。ローマ共和国では、市民は文明の恩恵を評価し、罰を恐れました。
巨大な宇宙距離のため、制裁の執行は地方の勢力に委託される可能性があります。上位レベルの超知性は、比較的単純だが100%忠実な機械の守護者のネットワークを作り出して、規則の遵守を監視させることができます。太陽系規模の文明を制御するために、人工知能は白色矮星(星の残骸)を使用する可能性があります。それは巨大なダイヤモンドのようなものです。その質量が一定の限界に達すると、超新星として爆発します。守護者は単に「税金」を管理し、支払われない場合は白色矮星の質量を増加させ、文明全体を脅かすことができます。
銀河を制御するために、ブラックホールの中心を使用することができます。ブラックホールの周りの物体はガスに変換されて吸収され、銀河の大部分を居住不可能にするクエーサーを形成する可能性があります。したがって、宇宙での協力には強力なインセンティブが存在します。しかし、これが相互利益に基づくのか、それとも厳しい脅威に基づくのかはまだ明確ではありません。物理法則は両方の可能性を許容しています。結果は、未来の生命形態の目標と価値観に依存するでしょう。ここで、生命が異なる場所で独立に出現する状況を考えてみましょう。
2014年、物理学者のジェイ・オルソンは宇宙で拡大するこれらのバイオスフィアの優雅な分析を発表しました。Future of Humanity Instituteの哲学者トビー・オードと同僚たちも同様の分析を行いました。
彼らの研究によると、すべての惑星系で知的生命が出現する可能性があります。私たちはそれを知っています。なぜなら、その生命は地球で出現したからです。宇宙が非常に大きいか無限である場合、このような文明が多数存在する可能性があります。3次元空間での発展を観察すると、それらは成長する球体のように見えるでしょう。しかし、時空間では、底のないシャンパングラスのような構造に見えます。
その成長は暗黒エネルギーと光速によって制限されています。文明が非常に離れていれば、決して出会うことはないでしょう。宇宙で孤独を感じるでしょう。しかし、より近くにある場合、それらの影響圏は重なり合う可能性があります。質問は:2つの文明が出会ったとき、何が起こるのでしょうか?協力するのでしょうか、それとも戦争になるのでしょうか?ヨーロッパ人は技術的優位性のおかげでアメリカとアフリカを征服しました。
しかし、超知的な文明は技術的限界に達している可能性があります。したがって、他の文明を征服することは難しいでしょう。テグマークによれば、数学の定理を証明するなど、同様の目標を持つ文明は、情報共有が有益であるため協力する可能性があります。一部の文明は不変の目標を持ち、他の文明は説得力のある議論が提示された場合に目標を変更する意思があるかもしれません。そのような文明が出会えば、アイデアの競争が起こる可能性があります。より効果的な目標を持つ文明は、光速でそれらを他の文明に伝達する可能性があります。「私たちの現在の人工知能研究が最終的に知的躍進と宇宙的拡大の最適化につながるなら、それは真に宇宙的な躍進となるでしょう:何十億年もの間、生命のない無関心な宇宙の中の小さな揺らぎとして存在した後、生命が突然宇宙の舞台に登場し、決して止まることなく光速近くで散弾銃の波のように広がり、その道のりのすべてを生命の火花で照らすのです。」
「138億年の宇宙の歴史の後、ここに私たち人間を通じて生命を得て、自身を理解し始めた信じられないほど美しい宇宙があります。私たちは、私たちの宇宙における未来の生命の可能性が、私たちの祖先の最も野心的な夢をはるかに超えていることを見てきました。しかし、それは知的生命が永遠に絶滅する同様に現実的な脅威によって影を落とされています。私たちの宇宙で生命がその可能性を実現できるかどうかは、今日の私たち、この世紀を生きる人々が何をするかに大きく依存しています。」