softbank worldの孫正義さんの講演すごかった。聴いてほしい

”人工知能、超知性が発達した世界で人間に何が残るのか。”

こういう話がありますが、この動画を見てすごい自分の中の議論がすっきりしました。

"o3"という"o1"を超えるすごいモデルができたという記事もありましたが、"o3"も「課題解決」の能力が飛躍的に伸びただけものでした。（十分すごい）
一方で動画の中では、発明（課題解決）を競うのではなくどんなタスクをAIに与えるかが次の競争になるという話がありました。

良いタスクを考えられる人間が「知のゴールドラッシュ」を掴む。
人間にとっては、タスクを考えることが大事になってきます
AIはタスクを自ら設定することは出来ず、これは人間固有の仕事です。
孫さんの話においても人間に任されていました。

ここを深堀りしたんですが
僕の考えでは、タスクはゴール=理想像ありきです。
世界はただ存在するだけでは良くも悪くもなくて、人間が評価してはじめて意味を持ち、「それが悪いからもっと良くしたい」とか「こんなこと出来たらいいな」という理想とかを持つことで初めてタスクが生まれます。
その意味では、究極的には「タスクを考えて与えること」ではなく「ゴールを描くこと」が人間に最後に残される仕事かなという考えに至りました。
現状とゴールとの差異を分析してタスクをたたき出すというのも、AIが出来る分野かなと。

これは良い、と言う価値判断やこれは嬉しいという感情。
この価値基準があってゴールが生まれます

強化学習において、AIが出した答えにスコアを与えるのは人間の価値観でした。
AIが人間の感情を読み取って、その後感情値がプラスに働くような結論を導くという話も、それは「傾向と対策」のようなものでAIに感情や価値判断があるわけではないです。

あくまで基底にあるのは人間の感情や価値基準で、AIが0→1で判断しているのではありません。
これだけは現状で人間だけのものです。

ところで「AIが発達して人間を乗っ取る」みたいな言説がありますが、それはAIが感情や価値判断を0→1で生成することができるようになった時かなという気がしました。
AIが自発的に感情などを持てば、「目指すべきゴールを設定してタスクを見つけ、問題解決手法を考えて実現する」という一連のプロセスが全てできるようになってしまうからです。

ありきたりな結論ですが、この最初の価値基準=ゴールのインプットだけは人間が握っていないといけないなと思います。
AIが自己意識を持つとしても、最初にインプットした価値基準に従うのであれば、100段階の“chain of thought”のなかで安全機能が働いて、ちゃんとその価値基準の範囲内に収まります。
初めの価値基準がAIに握られるととても制御できないです。
その価値基準に「人を殺すことは悪いことではない」とか入れると全体の体形が崩れ、その思考での最適解が提出されてしまいます。

さらに悪いことに、超知性は1万倍人間より賢いと言う事なので、金魚がAIを理解できないようにAIの行動や結論、思考内容は人間が理解できないです。
人間にばれない形で、人間が望まないことをAIにいつの間にかさせられてしまっている、と言う事も起きてしまうかもしれない。
ここがやっぱ怖い所ではあるなと感じながら聞いてました

最後に価値基準の話に付随して、開発者、流通させる側の人間は価値観の多様性や価値基準の問題をやっぱり考えないといけないと思いました。
ある人、ある文化の価値観をインプットしたAIが他の地域まで流通すると、パーソナルメンターとなった超知性が、ある人に対して違う価値観で助言をするということが起きるかもしれません。
　その助言に対して嫌な表情を見せたらAIは学習するのかもしれないし、AIの中で結論付けられたものを押し切るかもしれない。押し切るとなると、違う価値観や文化の人間が抑圧されます。
　もし学習するとなれば、AIの思考における価値基準、また出てくる結論がすごい個人に委ねられることになるので、果たしてその結論は正しい選択を出来るのかが怪しくなってくるなと思います。

ということは孫さんも考えているのでしょうが、こんなことを考えながら聞いていました。

【補論】

人間とは何か、宗教学とかで議論されます。

今回の文脈では、「人間とは”意味”を持つ生き物である」と言いたい。

世界自体はただ存在するだけでは意味を持ちません。
人間がいることで「良い世界」「悪い世界」になります、すなわち人間が「意味」を与えています。
この「意味」を与える機能が究極的に人間固有だと思います。

AIが発達しても芸術はずっと人間の分野だとかねてより思っていましたが、芸術も僕の言い方では意味の世界です。
ただの音の繋がり、ただの色のついた図形に対して、人々が「いいな」と思うから「意味ある」旋律や模様になって、それぞれ音楽、絵画と捉えられます。

AIも、人々の感情を読み取って学習して「傾向と対策」で人間が与えた意味を読み解く、ようなことはできるかもしれませんが、0→1で意味を与えることはできないです。
少なくとも今の間は。

本論で話していた、ゴール＝理想像を描くのも、世界に意味を持たせて価値判断した結果、どこを悪いと認めて何を理想とするかという意味の話です。

このようなところから、人間は「意味」の生き物だという言説にすごく合点がいきました。