AIアライメント問題について

AIのもたらす深刻なリスクとその歴史的背景＜3/16（土）21時〜＞ (youtube.com)
　AI進化への疑念で社会を騒がす事件が発生した有名なものは、アメリカで発生した「ユナ・ボマー」を例に挙げられると思います。MITのロドニー・ブルックス等も犯人から脅迫を受けていた事件で、「AIの発展は人生を空しくした。直ちに研究を停止しろ」という文書が送りつけられ、爆発物被害も多々発生しました。犯人が逮捕されて、また驚いたのは、大学で数学を教えている学者であったということでした。
　その時にも論議されたことですが、大きな人類文化・思想史で眺めると、保守と革新、恩寵と理性（宗教と科学）、自然と人工（科学技術）、（神の）設計（イデア）と進化、効果的利他主義と効果的加速主義、・・・等々、色々と論議がなされてきた問題が通底していると思います。NHKの番組でも『フランケンシュタインの誘惑』が放送されていますが、人類史的に古代からずーっと続いている問題であると思います。
　その通底する問題の根は、古代・中世なら「善悪」と表現され、現代であると「評価関数とそのパラメータ」として論じられた内容であると思います。普遍的な宇宙にとって善なのか、この現実の人間にとって善なのか、そこが一番の基礎になると思います。
　試行錯誤そしてシミュレーションが人間の予測能力を超える問題となり、AIアライメントとバイオハザードという現代において著しい進歩を遂げ、さらにその進歩がムーアの法則に従って展開する様な問題が、ビル・ゲイツ等も憂慮している問題になっているということですね・・・。
　F.ダイソンはInfinite in all directionsにおいて、地球上で繁栄した恐竜が絶滅したような環境悪化が、生物進化を促進する契機になるとし、現代の環境悪化も、人類が無意識的に進化を促進しているのではないかとの仮説さえ提示しました。この太陽さえ、寿命が白色矮星化で尽きることが知られている現代において、現行人間の存在様態を変更せざるを得ないとの危機感を持つ進歩派＝加速主義は、AIアライメントの問題ということを、現行人類滅亡の危機とは捉えないと思います。この宇宙にH.モラベクが言う様なMind Childrenを残す道であると考えます。
　実は中世でも、「天使論」はそうした思考モデルであったという説も成立すると思います（note 「多様化の極限　復活に与かる個体性」＝『日本カトリック神学会誌』第17号）。
　結局この問題は、カーツワイルの表現で考えると、ポスト・ヒューマンか現行人間か、その評価関数の選択問題であるという気がします・・・。