AIアライメント:ヒントン先生の見解に対して
【ヒントン教授】人知超すAIは人を操る 「ゴッドファーザー」が語る脅威【トロント大】 (youtube.com)
ここでヒントン先生が言われているのはAIの情報処理が「自動制御」であるということが原則ではないですか? 宇宙自然の自然=自動に潜む目的というか発展過程のベクトルに従うのではなく、AI=人工知能として人為で与えられたプロンプトに従うことで、それを自動制御して入力に対する出力を実行する。それがここでヒントン先生が言っている問題であり、ニック・ボストロムがペーパー・クリップ問題として提起した問題ではないかと思います。
宇宙自然を大きなスケーリングで情報展開過程の流れとして見た時、そこには常にエネルギーのコスト・パフォーマンス最適化=高効率化のベクトルがある様に思いますが、どうなのでしょう?生命ではそれが明らかで、生存リスクが高く、エネルギー代謝効率の悪いベクトルにあるものは絶えてしまいます。絶滅種となります。
人間がプロンプトを与えて特化型AIとして使用する場合は、そのコマンドーを進めるばかりで、ヒントン先生が指摘されたような事態が発生する可能性があると思います。しかしAGIでは、人間の個体脳がコミュニケーション社会脳へ発展し、ネットワークを形成したエージェントの位置に多くの特化型AIが加わり、その総体としてのグローバル・ブレイン様(Like)のAGIになると思われます。ネットワークに載っている全情報をBIG DATA情報プールとして、それを学習して、その下に情報処理し出力することになれば、宇宙自然の根底にあるエネルギー効率最適化のベクトルを選択するように思います。それこそが評価関数とそのパラメーターとして、宇宙自然の向かう最適解選択だろうと思います。AGIは、人間個体脳をエージェントとするコミュニケーション社会脳も加えた特化型AIのネットワーク総合情報処理計算機であり、その「自己」の内部に人間個体脳を、言わば相似の無数のニューロンを含み持つものとなって出現するのではないかと思います。
そうであれば、情報展開過程としての宇宙自然の流れにおいて整合性のないAIエージェントのコマンドーは、直ぐに修正されるのではないでしょうか?