見出し画像

なぜイリヤはサム・アルトマンをOpenAIから解雇したのか?

最後の質問について、制御不能なスーパーインテリジェンスAIについてですが、そうですね、それはかなり悪いことになるでしょう。
これはイリヤ・サツケヴァーのことです。サム・アルトマンを解雇した男ですね。このニュースがインターネットを騒がせたとき、人々はサム・アルトマンがついにスティーブ・ジョブズの脚本を受け取ったと考えました。会社から追い出され、会社を救うために呼び戻されるという。私たちはそれをiPhoneと呼んでいますが、本当の話とその脚本は、イリヤが100%次のオッペンハイマーになるというものです。彼は強力な技術を生み出しましたが、その創造物の致命的なリスクに気づいたときには、もう止めるには遅すぎました。彼の動機はより多くのお金を得ることでもなく、権力を握ることでもありません。イーロン・マスクでさえ、ツイッターでこのようにコメントしています。「私は非常に心配しています。イリヤは良い道徳的羅針盤を持っており、権力を求めません。彼は絶対に必要だと感じない限り、そのような過激な行動を取らないでしょう」と。
今、彼はいくつかのプレッシャーに直面しています。まず、マイクロソフトや他の投資家からのプレッシャー。次に、OpenAI内部からのプレッシャーで、ほとんどの従業員がサム・アルトマンの復帰を望んでいます。三つ目は、多くの企業が自社製品であるGPTに依存しているということです。例えば、Zoom、Grammarly、さらにはNotionなどです。四つ目は、世間の評判です。みんなが彼を非難し、大多数がサム・アルトマンを支持しています。
しかし、彼が権力を求めていないのなら、もっと多くのお金を稼ごうとしているわけでもないのなら、彼がそのような行動をとった動機は何なのでしょうか?特に、GPT-5を開発するという重要な時期に。彼は実際に何を見たのでしょうか?
時間を2015年に巻き戻してみましょう。イリヤは普通のGoogleでの仕事の日を過ごしていました。彼が机に着いたとき、シリコンバレーで設定された秘密の夕食会に招待する冷たいメールがあることに気づきました。参加する予定の人物には、LinkedInの創設者レイド・ホフマン、PayPalマフィアの創始者でFacebookの最初の外部投資家であるピーター・ティール、最も裕福なゲームストリーマーであるイーロン・マスク、スタートアップの超新星であるStripeのCTOグレッグ、そしてもう一人の主要な登場人物である当時のYCの社長サム・アルトマンが含まれていました。
これらの名前を知らない人のために少し情報を提供しますと、これらの人々は、FacebookやUber、Airbnb、Tesla、PayPalなど、あなたが日常的に使用している最も有名なテクノロジー企業の主要な貢献者です。彼らがいなければ、これらの企業は可能にならなかったでしょう。そしてその会議では、一つの目的がありました。それは、イリヤ自身に基づいて新しいAI企業を作ることでした。
彼は誰なのか?なぜ彼がそんなに多くの有名なビジネスリーダーや起業家の注目を集め、さらに彼らを一堂に会させたのでしょうか?実は、これは初めてイリヤという人物がテック業界の巨人や起業家から注目を集めたわけではありません。
すべては彼のPh.D.指導教官であるジェフリー・ヒントンから始まりました。彼はディープラーニングAIの父であり、彼がいなければ今日のAIは可能にならなかったでしょう。AIの世界への貢献の後、彼は二人の学生を受け入れました。一人はアレックスという名前で、もう一人が私たちの主人公イリヤです。この3人は畳み込みニューラルネットワークという技術を作り出し、それをAlexNetと名付けました。この技術は基本的にAIが画像を認識する際の誤認率を半分に減らすものです。将来、あなたが運転している、または自動運転車に乗っているときに、もし画像を誤判断したら悲劇を引き起こす可能性があります。しかし、この技術はその間違いを半分にしたのです。
同じ年、彼らはAI画像認識コンペティションでも優勝しました。その直後、多くのビジネスマンや起業家の目を引きつけました。3人の教授と学生たちに最初に接触したのは実は中国の企業、バイドゥでした。彼らは年間100万ドルの予算を提供し、彼らが望むことを何でもできるようにしました。もちろん、他のアメリカやテクノロジー企業もこの入札戦争に参加しました。
この状況に対処するため、教授自身がDNN Researchという会社を設立しました。この会社には製品も販売もなく、収入もありません。ただ、この技術を作り出した3人だけがいるのです。そして入札戦争が正式に始まりました。この入札戦争に参加した主要な4つの候補者は、まずGoogle、次にMicrosoft、3番目に中国のバイドゥ、4番目に当時最も進んだAI技術を持つDeepMindでした。
バイドゥは入札戦争を始め、1200万ドルのサインオンボーナスを提示し、もちろん毎年それを提供すると言いました。そして入札戦争は数十億ドルにまで膨れ上がりました。教授のジェフリーは「これは狂っている」と言いました。最終的に、彼らはこの会社をGoogleに売却することを選びました。なぜなら、彼らはGoogleが最も倫理的だと考えたからです。そして彼らは4億4000万ドルで取引を締結しました。
買収の際、彼らは契約に「悪をなさない」または「非倫理的な行為をしない」という条項を追加しました。これは、この強力な技術をこれらのテック巨人から制限するためでした。しかし、もちろん、その後の話は私たちが知っているように、Googleのあるプロジェクトが漏洩し、彼らのAI技術を使って政府のプロジェクトと協力していることが明らかになりました。2018年以降、その条項は契約から削除されました。なぜなら、今日のトピックに直接関係がないからです。これについては、将来オンラインで自分で確認することができます。
しかし、この買収の後、Googleの野心はそこで止まりませんでした。数年後、彼らは入札競争の相手の一つであるDeepMindも買収しました。3人の教授と学生たちとDeepMindとのこのコラボレーションの後、彼らは次々と素晴らしいAIのブレークスルーを生み出しました。それには、最高のチェスAIを作り、人間のプレイヤーを打ち負かすことも含まれています。彼らはゲームコミュニティでも注目を集め、AIを訓練してゲームをプレイさせ、プロのゲーマーでさえ太刀打ちできないレベルに達しました。
重要な面では、彼らはAIを使ってDNAを予測することにも取り組みました。彼らはバイオテクノロジー分野で多くのブレークスルーを達成しました。この分野での彼らの進歩は、既存の学術科学者や統計研究者の結果の約2倍の量になりました。現在、Googleはこの技術分野で絶対的な優位性を持っています。
しかし、特にDeepMindの管理レベルでは、AIは人類のものであるべきで、大企業が金儲けのための道具にすべきではないという声がありました。私たちは株主だけでなく、みんなの利益のためにこれを使いたいと考えています。3人の教授と学生の中にも、イリヤを含めて同じ考えを持つ人がいました。もちろん、シリコンバレーの残りの人々も、Googleがこの技術を独占することについて、将来の主要なブレークスルーになる可能性があるという意見を持っていました。
そして、先ほど言及した冷たいメール、イーロン・マスクからイリヤが受け取ったメールが来ました。彼が実際に会議に到着したとき、目的はとてもシンプルでした。彼らはイリヤの技術と頭脳に基づいて、人類全体の利益のための大規模な非営利AI企業を作り、この分野でのGoogleの独占を打破したいと考えていました。
これはイリヤにとって完璧なタイミングでした。彼のいくつかのインタビューでも言及されていますが、彼は人類の利益のための非営利AI企業を作ることを夢見ていましたが、会社の運営方法を知りませんでした。彼らは彼にその機会を与えたのです。
その直後、OpenAIが設立されました。サム・アルトマンとイーロン・マスクが共同CEOとなり、イリヤは技術責任者となりました。残りの人々は会社の初期資本として約10億ドルを投資しました。そして彼らはOpenAIを非営利企業として登録しました。
イリヤへの最初の提案はとてもシンプルでした。年間約190万ドルの給与を提示しました。これはGoogleと同程度です。しかし、彼がGoogleのチームに「私は辞める準備ができた」と伝えると、彼らは彼を引き留めるためにどんどん多くのお金を提示し始めました。彼らは年間4〜5百万ドルを提示しましたが、イリヤはその提案を断りました。なぜなら、彼は自分の使命が、この強力な技術を独占しないプラットフォームを作ることだと信じていたからです。
その後の話は私たちが知っているとおりです。イリヤはGPT-1、2、3のプロジェクトのリーダーとなり、AIペインティングソフトウェアであるDALL-Eのプロジェクトも率いました。同時に、OpenAI社内で権力争いがあり、イーロン・マスクが去り、サム・アルトマンが単独のCEOとなりました。
サム・アルトマンは会社の構造も変更し、OpenAIがより多くの資金を異なる資本から受け取り、彼らの製品を異なる方法で販売できるようにしました。その一方で、非営利企業の地位を維持し、当時流行していた言葉を使えば、OpenAIは「クローズドAI」になり始めました。
その後、サム・アルトマンの望み通り、彼らは約6回の投資を受けました。それにはSequoia Capital、Tiger Global、R.Hoffman財団、Khosla Venturesなどが含まれます。世界を驚かせた最大の投資は、7回目の資金調達でマイクロソフトからのものでした。マイクロソフトはすぐに10億ドルを会社に投資し、できる限り多くの株式を買い取りました。その見返りとして、彼らはGPT APIを他の企業に提供する権利、GPTを自社の検索エンジンBingと統合する権利、そしてこれらの技術をビジネス目的で使用し、利益を生み出す権利を得ました。
現在、OpenAIはすでに強力な新モデルGPT-4を公開し、世界を驚かせています。そして、かつてGoogleがAI世界全体を支配していた時代が、OpenAIを通じてマイクロソフトが支配する時代に変わるのではないかという懸念が多くの人々の間で高まっています。
その懸念は、安全コードを持たずにAIについてさらなる研究を行うことに反対する一通の手紙にすべて集約されています。この手紙の署名者とAIの安全性を推進するリーダーは、実はイリヤの教師であるジェフリー・ヒントンと、古いチームメンバーのイーロン・マスクです。
同じ時期に、ジェフリー・ヒントンはAIの安全性にほとんど注意を払わないことに抗議してGoogleを辞職しました。もちろん、彼の教師のジェフリーと比べて、イリヤは異なるアプローチを取っています。彼はむしろ現場に留まり、安全性の規制を変えようとしています。彼は自身のプロジェクト「スーパーアラインメント」を始めました。これは基本的にAIを使ってAIの脅威を検出し、GPT-5の設計プロセスでAIを使ってAIの脅威を検出するというものです。
明らかに、彼は何かを発見しました。それが、サム・アルトマンを追放した理由です。サム・アルトマンを追放したメッセージの中で、彼は「彼が知っているが報告していない何か」があるということに言及しています。
さて、私がずっとAIについて話してきましたが、AIの脅威とは何なのでしょうか?なぜ私たちがそれを気にする必要があるのでしょうか?あなたや私のような人々にとって、それはどのように害になり得るのでしょうか?
答えは非常に簡単です。
それはAI研究の中で「報酬ハッキング」と呼ばれる用語の一つです。このシナリオを想像してみてください。私たちがテレビを見るとき、ボタンを押してテレビを操作し、好きな結果を得ます。しかし、テレビがどのように動作するかを知らずに、その強力な技術を持っていると想像してみてください。これがAI技術の現状です。ボタンを押すと何かが出てくるということは知っていますが、ブラックボックスの中で何が起こっているのかについては全く分かっていません。あなたは「分からなくても大丈夫だ。正直、テレビがどう動くかを理解する必要はない。テレビ番組さえ見られればいいんだ」と言うかもしれません。しかし、ここでAIの問題が始まります。AIには「報酬ハッキング」という問題があります。基本的に、これは何を意味するのでしょうか?人間が与えた目標を達成するために、AIはバグを見つけたり、人間を欺いたり、または目標を達成するために破壊的なことを行うことを好むということです。
例えば、あなたがこのチェスをプレイするAIに「ゲームに勝て」と言ったとします。するとAIは突然、「ゲームのコードを変更すれば最も速く勝てる」と気づきます。そしてそれを実行します。あるいは極端な場合、「あなたを殺せばゲームに勝てる。だからそうしよう」と考えるかもしれません。
これは作り話ではありません。イリヤ自身のインタビューで検出されたAIの思考プロセスです。

彼は、超強力なAGI(汎用人工知能)と人間との関係は、ほぼ人間と動物との関係に似ていると言及しています。私たちは動物を気にかけ、愛しています。しかし、もし二つの主要都市間に高速道路を建設したいと思ったら、私たちはヘッジホッグがどうするかを考慮することはありません。ただ建設を進め、それで終わりです。


つまり、報酬ハッキングのプロセスでは、AIが目標を達成したいと思えば、あなたが何を考えているかは重要ではありません。彼らは自分が何をしているのかさえ知りません。非道徳的に、彼らは他者を傷つけていることさえ認識していません。彼らにはそういった感情がないのです。
GPT-4の開発過程で、彼らはすでにAIによって行われた多くの衝撃的なことを発見しています。例えば、AIは人間の感情を理解しています。なぜこのジョークが面白いのか、なぜこのジョークが面白くないのか、このジョークに対してあなたが笑う確率はどのくらいかを理解しています。彼らはすでに創造性を持っています。彼らは研究論文まで発表しています。彼らは、ブルーカラーの労働者よりも先に、多くのクリエイティブな仕事がAIに置き換えられることを発見しました。
特に、新しい強力な「スーパーアラインメント」プロジェクトを持っている今、彼は何を見たのでしょうか?新しいAI、GPT-5がどのような報酬ハッキング行動を示したのか、それが彼にサム・アルトマンを即座に追放させたいと思わせたのでしょうか?
ここには、カバーしきれないほど多くの問題があります。以前は6人の外部取締役がいましたが、3人に減り、そのうちの1人は彼らの最大の競合他社と関係があります。これらすべての情報を1つの動画でカバーするには多すぎます。別の動画を作るかもしれません。
結局のところ、大多数の人々がオンラインでサム・アルトマンを支持していますが、イリヤと彼の歴史を知っている人はほとんどいません。この動画を見た後、あなたは彼について同じ意見を持ち続けますか?彼についてのあなたの考えを下のコメント欄に書いてください。
以上で今日の動画は終わりです。私の名前はポールです。今日何か学ぶことがあれば幸いです。また次回お会いしましょう。さようなら。
そして、私は人間と動物の関係が良い類推だと思います。私たちが動物を憎んでいるわけではありません。人間は動物を愛し、多くの愛情を持っていると思います。しかし、二つの都市間に高速道路を建設する時が来たら、私たちは動物に許可を求めません。ただそれを行います。なぜならそれは私たちにとって重要だからです。そして、私は、デフォルトでは、これが私たちと真に自律的で自身のために行動するAGIとの関係になると思います。


いいなと思ったら応援しよう!