存亡リスクに対する「守護AI」の必要性と達成すべき２つの条件
要約
テクノロジーが現在のペースで発展し続ければ、今後数年から数十年の間に「文明が確実に破壊されるレベルのテクノロジー」が広く一般に普及する可能性が高い。その結果、文明の滅亡を招くような壊滅的リスク（＝存亡リスク）が大幅に増加することが予想される。本稿ではニック・ボストロムが提唱した「脆弱世界仮説」を検討し、将来的な技術革新に伴う存亡リスクに対処する方法を提案する。
結論として、技術革新に伴う存亡リスクを十分に排除するためには、超人的能力を持つ「守護AI」が必要になるだろう。本稿はこの「守護AI」を活用することで、あらゆるXリスクを事前かつ完璧に排除できると考える。しかし守護AIを実現するためには、達成すべき2つの条件ーーAIアライメントとAIガバナンスーーが存在する。本稿の結論は、これら2つの分野への更なる金銭的支援・研究者の参加・知名度の増加を強く支持するものである。
存亡リスクとは
「存亡リスク（略称：Xリスク）」とは、地球を起源とする知的生命体の早すぎる絶滅や、望ましい将来の発展の可能性を永久的かつ大幅に破壊する脅威のことである[1]。これは人類の絶滅や文明の崩壊など、世界的に深刻な被害をもたらす可能性のあるリスクを指す。
より一般的には「壊滅的リスク」としても表現されるが、本稿ではこれらを総じて「Xリスク」と呼称する。Xリスクとして懸念されるリスクには、AGI（汎用人工知能）やナノテクノロジー、バイオテクノロジーなどの高度なテクノロジーに伴う深刻なリスクが挙げられる。
脆弱世界仮説の検討
「脆弱世界仮説」とは、極めて異常で歴史的に前例のない規模の予防的取り締まりやグローバルガバナンスが実施されない限り、文明がほぼ確実に破壊される技術水準が存在するという仮説である[2]。
脆弱世界仮説は、テクノロジーの進歩がある技術水準（＝レッドライン）を超えた段階からXリスクが大幅に増加し、人類文明が壊滅する可能性が飛躍的に増加することを懸念している。
そして我々人類は、比較的近いうちにレッドラインとされる危険な技術水準に到達する可能性が高い。本稿はこの仮説に同意し、テクノロジーの将来的な進歩に伴う脆弱世界仮説を回避する方法を検討する。
脆弱世界仮説で懸念されるリスクとしては以下のようなものが挙げられる。
高度に自律的なAIシステムが世界中に普及した場合、大量破壊行為を実行する上での様々なハードルが極端に低下し、大量破壊能力が民主化される（＝世界中の誰もが簡単に世界を壊滅させられるようになる）可能性がある。
上記のようなAIが十分に管理/調整されていなかった場合、例えばオープンソースで開発または運営されていた場合、高度なAIの悪用や事故に起因するリスクはより深刻かつ大幅に増加する可能性が高い。
バイオテクノロジーが広く実用化された場合、悪意を持った個人や組織が人工的なパンデミックを引き起こせるようになる可能性が高い。高度な遺伝子編集技術が一般に普及すれば、個人や小規模な組織でも致死性の高いウイルスを設計・製造できるようになる。また高度に自律的なAIシステムを活用すれば、技術的な専門知識のない個人でもバイオテクノロジーを簡単に悪用できるようになるだろう。バイオテクノロジーの無秩序な発展は、人工的なパンデミックによる文明の崩壊を招く可能性がある。
ナノテクノロジーが高度に発展し、それらに対する世界的な規制や管理システムの構築が間に合わなかった場合、ナノテクノロジーに起因した無数のリスクが世界中に拡散される可能性がある。例えばナノマシンが世界中に普及すれば、ナノテクノロジーによるXリスクが世界人口の数だけ増加するだろう。ある国の青年がナノマシンを誤用または悪用しただけで、グレイ・グーによって世界が崩壊するといった地球規模で壊滅的な事態に陥る可能性がある。テクノロジーの発展速度が安全性の発展速度を上回った場合、脆弱世界仮説が懸念する通りのシナリオになる可能性が高い。そして今のところ、テクノロジーは安全性よりも明らかに加速している。
様々な要因からハードウェア技術がより高度に発展し、強力なコンピューティング能力がより安価かつ小型に手に入るようになった場合、高度なAIを開発するハードルは経済的にも技術的にも極端に低下するだろう。今後10年以内に、世界中の誰もが高度なAIを自由に開発できるようになるかもしれない。その結果として、AIに伴うXリスクは世界人口の数だけ増加するだろう。無数の個人が進化したハードウェアを使ってAGIを開発し、そのAGIが制御不能になったり悪用された場合、壊滅的な事態に陥る可能性がある。個人レベルでも高度なAIを簡単に開発できるようになれば、安全性を管理する従来の仕組みが崩壊し、技術革新が無政府状態に陥る可能性がある。
高度なテクノロジーの無秩序な発展は、大量破壊能力の民主化につながる恐れがある。技術革新が現在のペースで進行すれば、ある日突然世界中の誰もが文明を破壊する能力を有することになる可能性があるのだ。まるでChatGPTが2023年から突然普及したように、大量破壊能力へのアクセスがある日を境に世界中に流通する可能性がある。
「イージー核兵器」として懸念されるこの問題は、核兵器と同等の大量破壊能力を潜在的に持つ諸テクノロジーが技術革新によって世界中に普及することで、大量のXリスクが発生する可能性を指摘する。
この懸念には様々な革新的テクノロジーが含まれる。脆弱世界仮説が適用される技術水準は特定のテクノロジーに限った部分的なものではなく、ある一定の技術水準以降のあらゆるテクノロジーに適用されるだろう。この「ある一定の技術水準」とは、高度なAGI（汎用人工知能）の開発以降に実現されるであろう無数の革新的テクノロジー（バイオテクノロジー、ナノテクノロジー、ロボティクス、ドローン、3Dプリンティング、遺伝子工学、神経工学等々）を指す可能性が高い。
また、より代表的かつ差し迫ったリスクとして「ミスアラインドAI*」のリスクも挙げられる。詳しくは「AIアライメント」で後述するが、これは世界的に懸念されているリスクである。
※「ミスアラインドAI（misaligned AI）」とは、人間の意図や価値観に沿っていないAIや人類に非友好的なAIを指す。反対に人間の価値観に整合したAIは「整合したAI（aligned AI）」とされ、人間と同じ価値観や目標を共有したAI、または人間の望むことをしようとするAIとして定義される。
脆弱世界仮説はその一般的な知名度に反して真剣に検討されるべき問題であり、AI技術に端を発した急速な技術革新が予測される現代において、世界的に検討されるべき重大な仮説である。
シンギュラリティ（技術的特異点）としても予測される将来的な技術革新には、その副作用としてXリスクの増加などの負の側面が存在する可能性が高い。これはAIの発展とその科学応用が進みつつある現代において特に大きな問題であり、この仮説を放置するということは、将来的な文明の壊滅を放置することと同義であるかもしれない。
テクノロジーが現在よりも発展しXリスクを増加させる前に、Xリスクを排除するための対策を考案し実施する必要がある。その具体的な検討に移る前に、「予防原則」というここにおいて不可欠な行動原則を紹介する。
予防原則の適用
その定義からして一度でもXリスクが発生した場合、人類文明の大部分が不可逆的かつ完全に破壊されるため、我々は全てのXリスクを"事前かつ完璧に"排除する必要がある。したがって、Xリスクの対応には「予防原則」が適用される。
予防原則
「存亡リスクに対するアプローチは試行錯誤的なものであってはなりません。エラーから学ぶ機会はありません。何が起こるかを確認し、損害を制限し、経験から学ぶという事後対応型のアプローチは機能しません。むしろ、積極的なアプローチをとらなければなりません。これには、新しいタイプの脅威を予測する先見性と、断固とした予防措置を講じ、そのような行動の道徳的および経済的なコストを負担する意欲が必要です[3]。」
つまり、いかなる経済的・政治的・道徳的コストを払ったとしても、考えうる全てのXリスクに事前に対処する必要があるということである。Xリスクが一度でも発生すれば全てが手遅れになるため、リスクが発生する前にリスクを予測し排除する必要がある。そしてそのためには、予測される将来的なリスクに対して、ある種異常とも言えるほどの大胆かつ根本的な解決策を事前に立案し実施する必要がある。
予防原則は、リスクに対する従来型のアプローチ（実験と失敗を繰り返しトライアンドエラーによって問題を解決する）が、Xリスクには適用されないことを指摘する。なぜならXリスクの対処では一度も失敗することができず、全てのXリスクを一度きりのチャンスで"事前かつ完璧に"排除する必要があるからである。そのため早い段階から慎重な予測と推論を行い、まだ見ぬ脅威に対する大胆な解決策を予防的に立案し実施する必要がある。我々はいかなるコストを払ったとしても、全てのXリスクを"事前かつ完璧に"排除する必要があるのだ。
生物学的に不可能な仕事
以上のことから、我々は脆弱世界仮説を前提とし、予防原則に則って、人類の未来を守るために将来的なXリスクを事前に排除する必要がある。
しかし残念なことに、人間または人間に由来する組織がこの仕事（あらゆるXリスクの事前かつ完璧な排除）を達成することは生物学的に不可能である可能性が高い。なぜなら、Xリスクを排除するためにはおそらく次のような技能や能力が必要であり、それらはどれも人間の能力を生物学的に逸脱しているからである。
ありうる全てのXリスクを事前に把握するための正確かつ膨大な未来予測 この仕事を達成するためには、ありうる全てのXリスクを事前に把握することが不可欠である。急速な技術革新に決して追い抜かれないように、技術革新が発生する前にこの世界が今後経験する全てのシナリオを観測し、正確な未来予測を行う必要がある。
人間は種々の認知バイアスや情報処理能力の単純な限界により、ここで必要な未来予測を行うことができない。
しかし「超知能」として定義される未だ架空の存在であれば、超精密なコンピュータ・シミュレーションなどを用いてこのタスクを達成できる可能性がある。
将来的なXリスクに対する防御的技術の事前開発
技術革新に伴うXリスクを排除するためには、高度なテクノロジーの負の側面を軽減するためのテクノロジー（＝防御的技術）を事前に研究・開発・普及させる必要がある。未来予測に基づいてありうる全てのテクノロジーに対応した防御的技術を事前に開発する必要があるが、人間は前提となる未来予測を行うことができない。
防御的技術を開発するには膨大なリソースと時間が必要であり、人間の作業効率では技術革新に間に合わない。
全世界に対する完璧な監視体制
Xリスクは世界中で発生する可能性があるため、世界の安全を守るためには全世界を常に不足なく監視する必要がある。人間のリソースや能力では、世界中の動向をリアルタイムで監視し潜在的なリスクを即座に検知することは不可能である。
未来予測に基づいて特定の行為者の行動をより安全な行動に誘導する必要も考えられるが、人間的な組織がそれを行うことは様々な要因から不可能である。
Xリスクを排除するための圧倒的な能力
世界中のXリスクを排除するためには、技術的・経済的・政治的・社会的・文化的…その他あらゆる領域における圧倒的な能力が必要になるだろう。これらの能力は総じて「知能」として定義されるが、我々人間の知能ではこのタスクに不十分である。人間はDNAが定める生物学的限界に制限されており、人類の誰1人としてここで必要な能力を持たない。
Xリスクを排除するためには「起こりうる全ての可能性を未然に予測して、それらに対応した防御的技術を事前に開発し、全世界を常に監視し続け、あらゆるリスク要因を排除し続ける」必要がある。他にも超人的な説得能力や、それら全てを可能にする超人的な情報処理能力などが必要になるだろう。
このような仕事の難易度は、人間または人間に由来する組織の能力を大幅に逸脱しており、人間的な組織がこの仕事を十分に達成することは生物学的に不可能である。したがって我々人類がXリスクを排除することは不可能であり、技術革新に伴う脆弱世界仮説を独力で回避することは不可能である。
守護AIを使ってXリスクを排除する
脆弱世界仮説で予測されるXリスクを排除するためには、この仕事を「人間よりも高度な能力を持った存在」に委託する必要があり、それこそが「守護AI」である。
「守護AI」とは、ありうる全ての壊滅的/存亡リスクから人類を守るために機能する超知能AIシステムのことである。このシステムは、テクノロジー等に伴う無数のXリスクから人類を守るために機能し続ける。守護AIが実現した場合、それは全宇宙に適用される最低限の秩序として機能するだろう。
我々人類は何らかの代表組織を介して最初の超知能AIを守護AIに任命し、あらゆるXリスクの事前かつ完璧な予測・対処・排除・管理とその継続を指示することで、守護AIを現実世界に実装できる。この際には守護AIに全世界に適用される広範な権限を与え、ある程度自律的に機能させる必要があるだろう。ただし守護AIへの権限委譲と自律性の許可は、超知能AIへのコントロールを半永久的に失うことになる可能性があるため、この指示を与える際には、超知能AIが人類に整合し従属している、または共通の利害関係を半永久的に共有していると確認できる必要がある。これを達成するための条件は後の「AIアライメント」で後述する。
Xリスクという「一度でも発生すれば全てが破壊されるリスク」を十分に排除できる能力を持つのは、超知能AIだけである可能性が高い。少なくとも、人間によって運営される警察組織がこの仕事を満足に達成できないことは明らかである。好むと好まざるとに関わらず、シンギュラリティに到達しテクノロジーが急速に進歩した世界でも安全に生きるためには、高度なテクノロジーに伴うXリスクを超知能AIを使って排除するしかない。
別の手段の検討と却下
しかし、本当に守護的な超知能AIにしかこの仕事を達成することはできないのだろうか。例えば今よりも何十倍も認知的・肉体的に強化された超人的な警察ならば、これらの仕事に対応できるのではないだろうか。脆弱世界仮説が適用される世界では、そのような人間拡張技術も開発されているはずである。もちろん、その超人的な警察はこの仕事を達成することができるだろう。
しかし、おそらくそれはXリスクが1回以上発生した後であり、その頃には全てが手遅れである。ここで懸念される問題は全て「1回きりのチャンス」であり、懸念される脅威が1回でも発生した場合ゲームオーバーとなる。それゆえ予防原則に則って、全てのXリスクを事前かつ完璧に排除する必要がある。我々は警察が強化されるまで待つことはできず、テクノロジーが危険なレベルまで発展する前に、テクノロジーの将来的な進歩を前提とした防御策を実施しなければならない。
守護AIの可能性
このようなタイムリミットを前にして、本稿は「守護AIなら間に合う」と考える。つまり、脆弱世界仮説で懸念される諸テクノロジーの発展速度は、AIの発展速度よりも遅いと考える。我々が対処すべき将来的なリスクは、AGIなどの高度なAIが開発されたしばらく後に顕在化する可能性が高い。AIの発展速度は他のあらゆるテクノロジーの発展速度を大幅に上回っており、ナノテクノロジーやバイオテクノロジーよりも数年から数十年先に進んでいる可能性が高い。
そして高度なAI技術は、それ自体が人間とは比べ物にならない「知能」を有している可能性が高く、その超人的な知能は「Xリスクの排除」という仕事にも応用できる可能性が高い。つまり、我々は脆弱世界仮説が適用されるレベルの諸テクノロジーが開発される前に、それらに伴うXリスクを事前かつ完璧に排除するためのシステムを開発できる可能性が高い。そしてそれこそが「守護AI」であり、人類をXリスクから守るための超知能AIシステムである。
高度なテクノロジーに伴うXリスクが顕在化する前に、Xリスクを排除するための超知能AIシステム（＝守護AI）を開発することができれば、我々人類は脆弱世界仮説を回避できる可能性が高い。超知能AIは人間にはできない高度な仕事も達成できる可能性が非常に高く、それはXリスクの排除にも適用されるだろう。
守護AIのための2つの条件
しかし安全で強力な守護AIを構築するためには、達成するのが極めて難しい2つの条件を達成する必要がある。これらは技術的条件と政治的条件から構成されており、それぞれ「AIアライメント」と「AIガバナンス」として定義される。
そして前述のタイムリミットで指摘したように、またAIの急速な進歩に伴う差し迫ったXリスクを考慮した時、これら2つの条件をおそらく2030年までに達成する必要があるだろう。本稿はこれら2つの分野の概説と必要性を指摘した後、これら2つの分野への更なる金銭的支援・研究者の参加・知名度の増加を強く支持して結論とする。
1つ目の条件：AIアライメント
概要
「AIアライメント」とは、人間よりも高度なAIを人間の価値観や倫理に合致させ、高度なAIが人間の意図通りに行動することを目的とする研究領域である[4]。AIが高度に発展し人間の知能をはるかに上回るようになると、AIが人間の意図しない目標を追求したり、人間にとって望ましくない、または危険な行動をとったりする可能性が高まる。AIアライメントはこうした壊滅的リスクを未然に防ぎ、AIが人間にとって友好的な存在になることを確定させるために存在する。
必要性
1.AIによるXリスクを回避するため
ミスアラインドAI（人間の意図に沿わないAI）は最も重大なXリスクとして世界的に懸念されている。高度なAIが人類の利益と相反する目標や、人類が意図しない目標を追求した場合、壊滅的な事態が引き起こされる可能性が高い。2022年に行われた専門家アンケート調査*では、高度なAIが非常に悪い結果（例えば人類の絶滅）につながる可能性の中央値は10%となっている[5]。
※このアンケート調査はChatGPTが世界的に普及する以前に行われたものであり、2024年現在ではより深刻な数値になるかもしれない。
2023年5月にはジェフリー・ヒントン教授やヨシュア・ベンジオ教授、サム・アルトマンCEOといった数百人の著名なAI研究者や人物が「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争などの他の社会規模のリスクと並んで世界的な優先事項であるべきです。」とする声明に共同で署名した[6]。
同年6月には国連事務総長が上記のような警告を真剣に受け止めなければならないと発言し、11月にはイギリスのAI Safety Summitにて、アメリカと中国を含む28カ国とEUが「AIが重大なリスクをもたらすこと」に同意し、ブレッチリー宣言に共同で署名した[7]。
AIによるXリスクへの懸念は著名な研究者や意思決定者が共有する世界的な懸念であり、もはやSFの話ではない。そしてAIによるXリスクを回避するためには、AIアライメント問題を解決する必要がある。
2.超知能AIを守護AIとして活用するため
超知能AIを守護AIとして活用するためには、まずそのAIが人間の指示に従うようにする必要がある。アライメント問題を解決できない限り、守護AIというアイデアを実装することはできないだろう。一方でアライメント問題さえ解決できれば、超知能AIを守護AIとして活用できる可能性が高い。
現状と問題
AIアライメントは様々な企業や研究所が取り組んでいる緊急性の高い問題だが、現状では研究者の数も資金も非常に少ない。AI研究者は世界中に10万人いる中で、AIアライメント研究者はわずか400人程度しかいないと言われている[9]。
AI技術が指数関数的に急速に進歩している一方で、AIアライメント研究はそのスピードに全く追いついていない。著名なAI研究者や関係者が「今後3〜5年以内にAGIが実現する可能性がある」と指摘する一方で、それまでにAIアライメント問題が解決される兆しはほとんど見えていない[10]。
AIアライメント問題は、その重大性と比較して世界的な知名度があまりにも低いと言える。本来は地球温暖化よりもはるかに危険で重大な問題として扱われるべきだが、そのような議論はあまり一般的にはされていない。AIアライメントには未だ不確実な部分も多いが、国際社会は全人類のための保険としてこれに取り組むべきである。
2つ目の条件：AIガバナンス
概要
「AIガバナンス」とは、ますます強力になっていくAIを安全かつ有益に管理・活用し、社会全体が恩恵を受けられるようにするための規範、政策、制度、プロセスの総称である[11]。
特に脆弱世界仮説が懸念する問題では、全世界的な政治体制である「グローバル・ガバナンス」が必要になるだろう。具体的には、高度なAIを世界的に管理・活用するために新しい国際機関を設立する政治構想などが挙げられる[12]。グローバル・ガバナンスはますます重要になりつつある概念であり、世界的な議論と行動が必要である。
必要性
1.超知能AIを安全に管理・活用するため
超知能AIを安全に管理し、その恩恵を全人類が公平に享受できるように活用するためには、全世界的な政治的権限、組織、政策等が不可欠である。AIアライメントに成功し人類がAIを管理できるようになった場合、何らかの国際機関を介してそのAIを世界的に管理・活用する必要がある。
2.超知能AIに適切な権限と指示を与え、守護AIとして機能させるため
超知能AIを守護AIとして効果的に機能させるためには、適切な権限と指示を与える必要があり、それらの指示を与えるためには超国家的権限と正当性を有した国際機関が必要である。該当組織が必ずしも世界政府である必要はないが、少なくとも人類の長期的な未来における超国家的権限を有している必要がある。
「超国家的権限」とは、あらゆる国家のあらゆる法律を超越し全世界に対して最も強力に作用する世界的権限のことである。将来的なグローバル・ガバナンス組織は、この超国家的権限を部分的または全面的に保有している必要がある。
3.守護AIによるシングルトンを維持するため/知能制限を実施するため
「シングルトン」とは、最上位に単一の意思決定機関が存在し、その領域において効果的な支配を行い、自身の最高権力に対する内部または外部からの脅威を防ぐことができる世界秩序のことである[13]。
守護AIを使ってXリスクを排除するためには、それを中心にしたシングルトン（＝唯一の超知能AIによる単一の世界秩序）を構築し、維持し続ける必要がある。守護AIがXリスクを確実に排除するためには、守護AIがこの世界で圧倒的に強力であり続けなければならない。したがって守護AI以外のAIシステムや人間を含めた生命体には、知能制限を実施する必要があるだろう。
「知能制限」とは、文字通り対象の知能に上限を設定し、それ以上知能が高くなることを半永久的に制限する措置のことである。ただしポスト・シンギュラリティにおける知能制限の上限は天文学的な知能指数になるため、シングルトン以外の知性体が無知に陥ったり不利益を被ったりすることはない。
また知能制限の実施を守護AIに指示するためには、それを人類の総意として指示するための国際機関が必要になるだろう。
現状と問題
様々な団体や組織がAIガバナンスに取り組んでいるが、政治的な影響力においては巨大民間企業と比べて明らかに劣勢である。例えばアメリカにおける2023年のロビー活動の資金総額では、公式に確認できる資金だけでも5〜10倍以上の資金差がある[14]。
AIガバナンスの絶大な重要性についても、より広範な知名度と理解が必要である。政治家や官僚などの意思決定者は、これらの団体により積極的に関与すべきである。
公共政策学、経済学、社会学、法学、宗教学などの多様な学界や有識者は、AIガバナンスという包括的な分野により積極的に参加すべきである。学際的な協力や参加はこの分野をより大きく発展させ、世界的な議論と行動を喚起するだろう。
結論
本稿は「整合した超知能AIを守護AIとして活用すれば、今後生じる全てのXリスクを事前かつ完璧に排除できる可能性が高いため、AIアライメントとAIガバナンスこそが唯一にして最大の問題であり、全ての未来を左右するマスターキーである。したがって世界中の組織や意思決定者は、これら2つの分野への更なる金銭的支援・研究者の参加・知名度の増加を強力に促進し、実行するべきである」と結論づける。
今後いかなるXリスクが生じようとも、この世界で最も高度なAIが人間に整合していた場合、そのAIにXリスクを排除するように指示するだけでそれらのリスクを事前かつ完璧に排除できるだろう。しかし人間よりも高度なAIが人間に整合していなかったら、将来的なリスクを心配する前に壊滅的な事態に陥るだろう。
また、たとえAIアライメントという技術的条件が達成されていたとしても、AIガバナンスという政治的条件が達成されていなければ、結局のところ守護AIのようなシステムは実現されず、我々の文明が脆弱世界仮説が懸念するシナリオ（＝無秩序な技術革新による文明の崩壊）に繋がる可能性が高い。
人類の未来は技術的な力と政治的な力の2つの力によって駆動されるため、来たるべき将来を乗り越えるためには「AIアライメント」と「AIガバナンス」という2つの条件を達成する必要がある。
AIアライメントとAIガバナンスさえ達成できれば、他のあらゆるリスクを解決できるようになる可能性が高いため、世界中の組織や意思決定者はこれら2つの分野により多くの時間とリソースを注ぐべきである。
後書き
おそらく2024年時点で想像できる最も望ましい未来ーー超知能AIのアライメントに成功し、超知能AIのグローバルガバナンス（超国家的国際機関の設立と、該当機関による全人類を代表した超知能AIの民主的管理・活用システムの確立）に成功した未来ーーでは、超知能AIに指示する最初のプロンプトは「あらゆる壊滅的/存亡リスクの事前かつ完璧な予測・対処・排除・管理とその継続」になるだろう。
我々人類がこの問題をどうにか乗り越え、人類としての共通の利害関係を共有しながら、ポスト・シンギュラリティのより良い未来に安全に移行できることを切に願う。本稿が提案した「守護AI」というアイデアは、その可能性を少しでも高めるために発案されたものである。
※本稿は2024年時点の知識や予測に基づいて発案されたものであり、状況が変化するごとに更なる改良や、場合によってはアイデアの部分的または全面的な放棄が必要になるだろう。著者の許可のない自由な転載・引用・批評・翻訳等を歓迎する。
参考文献
[1]
https://existential-risk.com/concept.pdf
https://existential-risk.com/
[2]
https://alzhacker.com/the-vulnerable-world-hypothesis/
https://onlinelibrary.wiley.com/doi/10.1111/1758-5899.12718
[3]
https://nickbostrom.com/existential/risks
[4]
https://en.wikipedia.org/wiki/AI_alignment
https://ui.stampy.ai/questions/6714/
[5]
https://aiimpacts.org/2022-expert-survey-on-progress-in-ai/
[6]
https://www.safe.ai/work/statement-on-ai-risk
[7]
https://www.un.org/sg/en/content/sg/speeches/2023-06-12/secretary-generals-opening-remarks-press-briefing-policy-brief-information-integrity-digital-platforms
[8]
https://www.gov.uk/government/topical-events/ai-safety-summit-2023
[9]
https://forum.effectivealtruism.org/posts/5LNxeWFdoynvgZeik/nobody-s-on-the-ball-on-agi-alignment
[10]
https://www.alignmentforum.org/posts/EjgfreeibTXRx9Ham/ten-levels-of-ai-alignment-difficulty
[11]
https://www.lesswrong.com/tag/ai-governance
https://forum.effectivealtruism.org/topics/ai-governance
[12]
https://openai.com/index/governance-of-superintelligence/
https://futureoflife.org/grant-program/global-institutions-governing-ai/
[13]
https://nickbostrom.com/fut/singleton
https://nickbostrom.com/fut/evolution
https://www.alignmentforum.org/tag/singleton
https://global.oup.com/academic/product/superintelligence-9780199678112?cc=jp&lang=en&
[14]
https://time.com/6972134/ai-lobbying-tech-policy-surge/