見出し画像

OpenAIの元従業員がAGIの真実を暴露したばかり...

AIに仕事を奪われたい

16,724 文字

多くのトップAI企業、OpenAI、Google、Anthropicなどは、AGIの開発を完全に真剣な目標として扱っており、それらの企業の多くの社員は10年から20年以内に達成できると考えています。中には1年から3年以内という見方もあります。さらに重要なことに、これらの同じ人々の多くは、人間と同じくらい賢い、あるいはおそらく人間よりもはるかに賢いコンピューターの開発に成功した場合、その技術は最低でも非常に破壊的なものとなり、最悪の場合、文字通り人類の絶滅につながる可能性があると考えています。
AGIの出現には信じられないようなメリットがある可能性がありますが、前例のないリスクももたらします。この上院司法委員会の公聴会では、OpenAI、Google、Metaなどの主要AI企業の元インサイダーからの証言を通じて、AI安全性の現状について背筋が凍るような洞察が得られます。そして、これらの内部告発者たちは、これらの組織内部の現実と一般の認識との間にある懸念すべき断絶を明らかにし、彼らのセキュリティ慣行、利益を安全性よりも優先する姿勢、そして適切な安全対策が整う前に潜在的に危険な技術を展開しようとする競争について暴露しています。このビデオでは、今後数年間でAIの開発がどのように変化するか、そしてこの技術をより高度な方法で使用し始める方法に影響を与える可能性のある、いくつかの提案されている政策を実際にご覧いただけます。
まず本日は、皆さんからお話を伺いたいと思います。なぜなら、今日お招きした証人の方々は全員、Meta、Google、OpenAIに代わってAIの開発に関わった専門家であり、それらの企業が安全性の問題にどのように対処したかを直接目にされた方々だからです。底辺への競争に向かう誘因は圧倒的で、企業は今この瞬間にも妥協を重ね、AIシステムがSam Altmanさえも可能だと考えた種類の害を引き起こさないようにする取り組みを後退させています。私たちは既にその結果を目の当たりにしています。本日、私たちの証人の方々がお話しになる人工知能、つまりAGIは、さらに恐ろしい害悪をもたらす可能性があります。AGIが10年から20年後には人間と同じくらい、あるいはそれ以上に賢くなるという考えは、もはや遠い未来の話ではありません。それは今ここにある現実であり、実際、この委員会の前でも1年から3年以内という予測が最近なされました。そして、私たちは人間と同じくらい賢い人工知能が、私たちを欺き、操作し、事実を隠蔽することも可能だということを知っています。
では、ここから実際にこれらのトップテク企業のインサイダーたちの発言に入っていきましょう。そこには何人かの異なる人々がいます。まず一人目は、OpenAIの取締役会にいたHelen Tonerさんです。また、OpenAIの技術スタッフの元メンバーのWilliam Saundersさん、GoogleのリサーチサイエンティストだったMargaret Mitchellさん、そしてカリフォルニア技術民主主義イニシアチブのシニアポリシーアドバイザーで、Metaで働いていたDavid Evan Harrisさんがいます。これらの方々から、AIの業界がどのように変化していると考えているかについて、それぞれの発言を聞くことになりますが、特にOpenAIで働いていた人々の発言は非常に興味深いものです。
この公聴会のタイトルは「AIインサイダーの視点による監督」ですが、私がAIインサイダーの視点と一般のAI企業に対する認識との間で最も大きな断絶を感じるのは、人工知能、つまりAGIという考えについてです。このAGIという用語は明確には定義されていませんが、一般的には人間と同程度の知能や能力を持つAIシステムを意味します。公共政策の議論では、人間レベルのAIについての話題は、しばしばSF小説やマーケティングのための誇大宣伝のように扱われます。しかし、OpenAI、Google、Anthropicを含む多くのトップAI企業は、AGIの構築を完全に真剣な目標として扱っており、それらの企業内の多くの人々は10年から20年以内に達成できると考えています。中には1年から3年以内という見方もあります。さらに重要なことに、これらの同じ人々の多くは、人間と同じくらい賢い、あるいはおそらく人間よりもはるかに賢いコンピューターの開発に成功した場合、その技術は最低でも非常に破壊的なものとなり、最悪の場合、文字通り人類の絶滅につながる可能性があると考えています。
当該企業はしばしば、AIの仕組みやその安全性を確保する方法についての科学が未熟すぎるため、規制はまだ時期尚早だと言います。それを別の言い方で言い換えさせていただきます。彼らは言っています。私たちはこれらのシステムがどのように機能するのか、あるいはいつ私たちより賢くなるのかを見分ける良い科学を持っていません。私たちは大規模な被害を引き起こさないようにする良い科学を持っていません。でも心配しないでください。私たちの決定を導く主な要因は利益のインセンティブと、競合他社より速く前進しなければならないという容赦のない市場圧力です。だから、私たちは特別に、特別に安全に気をつけていることを約束します。
これらの企業が規制はまだ時期尚早だと言うことがあっても、現実には数十億ドルが次第に高度化するAIの構築と展開に投じられています。そして、これらのシステムはそれらがどのように機能するのか、あるいは次に何が構築されるのかについての科学的なコンセンサスがない状態でも、何億人もの人々の生活に影響を与えています。そのため、私は政策に対する様子見のアプローチは選択肢にならないと主張したいと思います。
はっきりさせておきたいのは、人間より賢いAIの準備にどれだけの時間があるのか、そしてそれをコントロールして安全性を確保することがどれだけ難しいのかについて、私には分かりません。委員会が千回も聞いたことがあるように、AIはリスクだけをもたらすわけではありません。それは生活水準を向上させ、世界的な課題を解決し、世界中の人々に力を与える可能性も持っています。もしこの技術が単に悪くて危険だというだけの話なら、私たちの仕事ははるかに単純なものになるでしょう。私たちが直面している課題は、AIがどれだけ急速に進歩し、どのような危険が生じるのかについて、専門家の間でも大きな不確実性と意見の相違がある中で、いかにして積極的に良い政策を作るかということです。
では、ここでHelen Tonerの実際の提案に入ります。彼女は、AIの規制に関して実際に役立つと考えられる特定の政策の概要を示していますが、最も重要なのは、スピードを落とすことなく規制できるということです。そして、AI産業が想像以上に急速に動く産業であることを考えると、これが最も重要なポイントの一つだと思います。
良いニュースは、今日私たちが採用できる軽度で適応性のある政策措置があるということです。これらは、もし近い将来に強力なAIシステムが登場した場合に役立つだけでなく、今日私たちが議論するであろう他の多くのAI政策の問題にも役立つものです。私の書面による証言でより詳しく説明している構成要素として、私は今日採用できる6つの政策を簡単に強調したいと思います。
まず第一に、重要なAIシステムの開発者に対する透明性要件を実施すべきです。AIの測定と評価の方法、そしてその安全性を確保する方法について、大規模な研究投資を行うべきです。厳格な第三者監査エコシステムの発展を支援し、AI企業の従業員のための内部告発者保護を強化し、政府の技術的専門知識を向上させ、AIによる害に対する責任の所在を明確にすべきです。これらの措置は、AIのさらなるイノベーションを妨げることなく実施できる本当に基本的な第一歩です。このような政策は、私たちが既に目にしているAIの害に対処するための最小限の常識的な基盤を築き、また時間の経過とともにAIの新しい展開を特定し対応するための体制を整えることに関するものです。これは単一の法律で管理できる技術ではありませんが、私たちは出発点としてこれらの基本的な構成要素の一部を実施する必要があり、それは既に遅すぎるくらいです。
次は、Jan Leickと一緒にスーパーアラインメントチームで働いていたOpenAIの元従業員のWilliam Saundersの話を聞きましょう。この証言は、O1モデルとその能力について議論しており、かなり驚くべきものです。
私はOpenAIの技術スタッフのメンバーとして3年間働きました。OpenAIのような企業は、人工知能、AGIの構築に向けて取り組んでいます。彼らはこの目標に向けて数十億ドルを投じています。OpenAIの憲章では、AGIを「ほとんどの経済的価値のある仕事で人間を上回る高度に自律的なシステム」と定義しています。これは、長期間にわたって自律的に行動し、人間ができるほとんどの仕事をこなすことができるAIシステムを意味します。
AI企業はAGIの構築に向けて急速な進歩を遂げています。この公聴会の数日前、OpenAIは新しいシステムGPT-01を発表しました。これは重要なマイルストーンを達成し、その中には私個人にとって重要な意味を持つものもありました。私が高校生の時、私は権威ある国際的なコンピューターサイエンスのコンペティションのために何年もトレーニングを積みました。OpenAIの新しいシステムは、予選落ちから一気に金メダル獲得へと飛躍し、私自身の仕事に関連する分野で私以上の成績を収めました。まだ埋めるべき大きなギャップはありますが、3年以内にAGIシステムが構築される可能性があると私は信じています。
AGIは、経済と雇用に根本的な変化をもたらすなど、社会に重大な変化をもたらすでしょう。AGIはまた、システムが自律的にサイバー攻撃を実行したり、新しい生物兵器の作成を支援したりすることで、壊滅的な被害をもたらす可能性もあります。OpenAIの新しいAIシステムは、専門家が既知の生物学的脅威を再現する計画を支援することができるため、生物兵器のリスクに向けた最初のステップを示す最初のシステムです。厳密なテストがなければ、開発者はこのような危険な能力を見逃す可能性があります。OpenAIはこのようなテストの側面で先駆的な役割を果たしてきましたが、展開の速度を厳密性よりも優先してきました。私は、本当にリスクがある場合、彼らは将来のAIシステムの重要な危険な能力を見逃すだろうと信じています。
AGIは、アメリカ合衆国の外国の敵を含む、盗難の価値のある標的にもなるでしょう。OpenAIは公に安全性を真剣に考えていると主張していますが、彼らの内部セキュリティは優先されていませんでした。私がOpenAIにいた時、私や他の数百人の従業員がアクセス制御をバイパスしてGPT-4を含む会社の最先端のAIシステムを盗むことができる脆弱性が長期間存在していました。
AGIシステムが安全で制御可能であることを確実にする方法を知っている人は誰もいません。現在のAIシステムは人間の監督者によってトレーニングされており、正しいことをしているように見える時に報酬を与えています。その監督者を操作したり、展開されるまで不正行為を隠したりする新しい方法を見つけられるシステムを扱う際には、新しいアプローチが必要になるでしょう。OpenAIのスーパーアラインメントチームはこれらのアプローチの開発を任されていましたが、結局のところ私たちは手探りで進めるしかありませんでした。壊滅的な被害が可能な場合、これは恐ろしい見通しです。今日、そのチームはもはや存在しません。リーダーたちと多くの主要な研究者たちは、成功に必要なリソースを得るのに苦労した後、辞任しました。
OpenAIは改善していると言うでしょう。私や辞任した他の従業員たちは、彼らが間に合うとは思っていません。これはOpenAIだけの問題ではありません。迅速な展開を優先するインセンティブは業界全体に当てはまります。だからこそ、政策的な対応が必要なのです。私と他の証人たちはAI業界に対する具体的な懸念は異なるかもしれませんが、それらに対処する共通の基盤を見出せると信じています。
AI企業内部の問題についてインサイダーに伝えてもらいたいのなら、そのような伝達を安全で容易にする必要があります。つまり、内部告発者の従業員のための明確な連絡窓口と法的保護が必要です。規制はまた、展開前と展開後の両方での第三者によるテストの要件を優先しなければなりません。これらのテストの結果は共有されなければなりません。Blumenthal上院議員とHawley上院議員が提案した枠組みにあるように、独立した監視組織を創設し、透明性要件を義務付けることは、これらの目標に向けた重要なステップとなるでしょう。
私はOpenAIを辞任しました。なぜなら、彼らが自分たちだけでAGIについて責任ある決定を下すという信頼を失ったからです。もし何らかの組織が全ての人に重大なリスクを課す技術を構築するのであれば、公衆はそれらのリスクを回避または最小化する方法を決定することに関与しなければなりません。それはAI以前からの真実であり、今日のAIについても真実である必要があります。これらの問題に対する皆様の取り組みに感謝し、質問をお待ちしています。
それはかなり驚くべきことでした。つまり、AIの開発のペースと、OpenAIで働いていても、起こることの中には本当に驚くようなことがあることを示しているのです。次に、GPT-4の展開と、内部的にどのように標準的な安全手順に反して早期にこのシステムを展開することになったのかについて、Helen Tonerから情報を得ました。
展開安全委員会として知られるプロセスのような状況について。OpenAI製品を使用する際のOpenAIとMicrosoft間の安全性を調整しようとする試みとして、素晴らしいアイデアでした。現在、公に報告されているところによると、そのプロセスの初期段階で、Microsoftは非常に大きな、非常に重要な立ち上げ、GPT-4の立ち上げを計画している最中でした。そしてMicrosoftは、その展開安全委員会の承認を得ることなく、インドの数万人のユーザーにGPT-4を立ち上げました。
もう一つの例は、私が取締役会を去った後、会社内部から懸念が提起されたことです。それは彼らの4.0モデルの立ち上げに向けて、つまり音声アシスタントで、非常に非常に興奮する立ち上げビデオがあり、OpenAIが彼らを凌駕する可能性があると知っていたGoogleのイベントの前日に立ち上げられましたが、会社が事前に行った種類の安全性へのコミットメントを完全に実行する能力について、社内から懸念が提起されました。つまり、他にも例はありますが、私はこれら2つが核心を示していると思います。
そして次に、本当に超興味深い内容に入っていきます。なぜなら、彼らは実際にOpenAIでSam Altmanと起こっていたことについて話し始めるからです。ご存じの方も多いと思いますが、彼は昨年、同じ建物でAIの安全性と、なぜもちろん規則や規制が必要なのかについて証言していました。そして今、もちろん1年後に、取締役会のメンバーが辞任して「物事は計画通りには進んでいない」と言っているのです。最初の時点から全てがどのように進化してきたかを見るのは本当に興味深いです。そのため、これらの問題について彼らがどのように議論するのかを正確に見るのは興味深いでしょう。
OpenAIの取締役会を去られた理由の一つは、適切に仕事ができないと感じられたこと、つまりAltman氏とその安全性に関する決定を効果的に監督できないと感じられたことだと思います。あなたは今年、引用させていただきますが、Altman氏が会社が実際に持っていた少数の正式な安全性プロセスについて不正確な情報を提供したと述べられました。つまり、彼は取締役会に誤った情報を提供したということです。可能な範囲で、これについて詳しく説明していただけませんか？私は、彼が私たちの前に座って話したことを考えると、この会社内で安全性のために実際に何が行われているのかに大きな関心があります。
ご質問ありがとうございます、上院議員。はい、私は機密保持義務に違反しない範囲で喜んで詳しく説明させていただきます。私は、会社が安全性プロセスを持っている時、彼らはそれを大々的に、誇らしげに発表するので、あなたとあなたのスタッフは彼らが持っているプロセスを認識しているはずだと信じています。当時、私が考えていた一つ、私が知る限り最初の正式なプロセスの一つは、先ほど議論した展開安全委員会で、その初期段階でMicrosoftによる違反が起こりました。
それ以降、彼らは準備態勢フレームワークを導入しました。これは、これらの人々や企業の多くが良い歩みを進めていることを私は称賛したいと思います。準備態勢フレームワークの背後にある考えは良いと思います。彼らがそれを実行する範囲で、それは素晴らしいことです。しかし、彼らがどれだけよくそれを遵守できているかについて懸念が提起されてきました。また、公に報告されているように、そのチームを率いるために招いた本当に尊敬される専門家がその役割から再配置されました。これは、そのチームが会社の他の部分に対してどれだけの影響力を及ぼすことができるかについて、私は何を意味するのか心配です。
そして、これは今日ここにいる証人の皆さんが全員観察してきた、より大きな力学を示していると思います。これらの企業の内部には本当に素晴らしい人々がいて、本当に素晴らしいことをしようとしています。そして課題は、もし全てが企業自身とリーダーシップチームに委ねられ、彼らが製品を出荷し、利益を上げ、新しい投資家を引き付けることについてトレードオフを行う必要がある場合、それらのチームは必要なリソース、時間、影響力、実際に何が起こるかを形作る能力を得られないかもしれないということです。だから私は、私が目撃した多くの力学が、私が同僚の証人たちから聞いていることと非常に良く響き合っていると思います。
それは大変参考になります。ここで、Sam Altmanが以前ここにいた時の直接の引用に入ります。そして、それは実際にOpeningEyeについて彼が言ったことについて話しています。もちろん、私はOpeningEyeの準備態勢フレームワークと、展開されるすべてのモデルが実際に安全なものであることを確実にするためにそれをどのように活用しているかについて知っています。
この点についてもう少し具体的にお聞きしたいと思います。なぜなら、先ほど申し上げたように、Altman氏は今年この関連で私たちに証言しました。彼が言ったことの一部をご紹介します：私たち、つまりOpenAIは、あらゆるレベルで安全性がシステムに組み込まれていることを確実にするために重要な努力を行っています。そして彼は続けて、まだ彼の言葉を引用していますが、新しいシステムをリリースする前に、OpenAIは広範なテストを実施し、詳細なレビューと独立した監査のために外部の専門家を関与させ、モデルの動作を改善し、堅牢な安全性とモニタリングシステムを実装します、と述べました。あなたの経験では、これは正確ですか？
私は会社の活動をそのように特徴付けることは可能だと信じています。問題は、どれだけが十分なのか、誰がそれらの決定を下しているのか、そしてどのようなインセンティブがそれらの決定を導いているのかということです。実際には、コミットメントを行う時、そのコミットメントを何らかの言葉で書き留める必要があります。そして実装に移る時、どの情報が誰とどのタイミングで共有されるのか、誰が特定の決定を下すために適切な部屋に招かれるのか、あなたの安全チーム - どのような種類の安全チームであれ - は製品の構想の最初から関与して、これがどのような影響を持つ可能性があるかを本当に最初から考えているのか、それとも発売期限の数週間前に何かを渡されて「はい、できる限り良くしてください」と言われているのか、など、多くの詳細な決定を下さなければなりません。
ここで私は、OpenAIの具体的な出来事について言及しようとしているわけではありません。私は本当に、再び、公に報告された例、業界全体から聞いた例を指しているのです。そこには良い努力があり、もし私たちが企業にそれらのトレードオフ、それらのコミットメントがどのように実装されるかについての詳細な決定の全てを委ねれば、彼らは広範な公衆の利益を完全に考慮することができないのではないかと心配しています。そして、これは複数の企業の人々からも聞こえてきます。「私たちが減速するのを助けてください、外部からの、私たちが指摘できるガードレールを与えてください。それによって私たちが単にこれらの市場圧力の対象となるだけではないようにしてください」というような感情です。
これはこの話の中で最も魅力的な部分の一つです。なぜなら、彼は実際に「OpenAIは本質的に十分なことをしているのか？」と尋ねているからです。そしてHelen Turnerは、つまり、それはOpenAIが真実を語っているかどうかによると、非常に興味深い返答をしています。なぜなら、OpenAIは彼らの将来のモデルについて特定の予測をしており、もしそれが真実なら、その能力は本当に、本当に信じられないものになるからです。そして、明らかに、もしこれらの予測が正しければ、私たちは十分なことをしていない可能性があります。つまり、OpenAIが単にハイプトレインを率いているのか、それとも彼らが実際に次の最高のモデルを持っていると考えているのかによると思います。
一般的に、現在のあなたの印象として、OpenAIは自社の製品を適切に審査し、公衆を保護するために、安全性の手順とプロトコルに関して十分なことをしていますか？
私は、それは彼らの研究がどれだけ急速に進歩するかに完全に依存すると思います。もし彼らのシステムがより高度になる速さについての最も積極的な予測が正しければ、私は深刻な懸念を持っています。もし彼らの予測、最も積極的な予測が間違っているかもしれないなら、私はやや懸念が少なくなります。
では、ここで話の次のセクションに入ります。これは少し異なります。なぜなら、これはDavid Even Harrisが、潜在的に実装される可能性のある種類の政策について話している部分だからです。
それには、私が読んでいなくても推奨したであろう重要な要素が含まれています。AIシステムとそれを作る企業のライセンスと登録、責任、つまりAI企業が彼らの作る製品に対して明確に責任を負うこと、そして出所、つまり人々がどのコンテンツがAIによって作られ、どのコンテンツが人間によって作られたかを知る能力です。これらは枠組みに既に含まれているいくつかの要素に過ぎませんが、私はその詳細を含む法案のテキストを見るのが楽しみです。
さて、David Even Harrisは実際にAIウォーターマーキングの将来と、現在、出力がAIによって生成されたものかどうかを判断する実際の方法がないという事実について話し続けます。そして、AIについて最新の情報を追っている方々は、Flux 1.1が画像生成において達成できるリアリズムの点で本当に信じられないほど素晴らしいものだったことをご存じでしょう。もちろん、将来的にこれはさらに良くなる可能性が高いことを私たちは知っています。そこで彼らは、ビデオ、画像、そしてもちろんテキストに関して、高度なモデルでウォーターマーキングを実現できる可能性のある方法についてのアイデアを提案し、本質的に議論しています。そして、今のところ、その方面で何らかの取り組みをしているように見えるのはGoogleだけのようです。
出所技術には複数の要素があります。一つは開示です。そして、はい、それは企業がAIを使用し、AIとやり取りする場合、AIシステムまたはボットとやり取りしていることを開示すべきだということを意味します。しかし、もう一つの要素は...そうですね。
つまり、一つ目は通知ですね。もし私がロボットや人工知能とインターフェースしているなら、その人工知能の所有者は消費者である私に、私はロボットだと伝えるべきです。
はい、その通りです。
それが一つ目ですね。二つ目は何ですか？
では、二つ目はウォーターマーキングと呼ばれることもあります。この委員会は4月にこのウォーターマーキングのトピックについての証言を聞いたことを私は知っています。そして、ウォーターマーキングは二つの方法で行うことができます。一つは、例えばAIが生成した画像、AIが生成したオーディオファイル、ビデオ、あるいはテキストでさえも、それがAIによって生成されたという直接的な開示が可能です。あなたは見たことがあるでしょう、ウォーターマークには...分かりました。
つまり、それは別の形の通知ですね。
はい、そう呼んでも良いでしょう。しかし、それは直接的なウォーターマーキングです。また、より間接的な開示という別の技術もあります。これは、AIによって生成されたテキストの中にテキストの不可視な信号を隠したり、画像の中に隠されたピクセルのパターンを隠したりする方法です。
それは消費者にとってどのような利点がありますか？
その良い点は、画像の上部や下部に「これはAIによって作成されました」という通知を単純に切り取って削除するよりも、はるかに削除が難しいということです。そういう意味で、ウォーターマークには価値があります。また、4月にここで議論された別の技術もあります。それはデジタル指紋と呼ばれています。この技術は、オンラインで流通する児童性的虐待素材やテロリストコンテンツを追跡するために使用されており、これはハッシュと呼ばれる、画像、オーディオファイルのユニークな識別子を作成します。テキストやビデオでも可能で、それはデータベースに保存され、データとコンテンツを関連付け、それをAIによって生成されたものとして識別することができます。
これらは全て通知の形式ですか？
ある者はより直接的で、ある者はそうでありません。私は通知の形式と呼ぶでしょう。私は...
あなたを罠にかけようとしているわけではありません。私は理解しようとしているだけです。現在、世界に適切な通知を与えている企業はありますか？
お答えさせていただきます。はい。彼らの公式声明によると...
はい、または、いいえで答えてください。私には他にも取り上げるべき事項があるので。
Google DeepMind SynthIDという名前の技術があり、それは良さそうに見えます。私はそれをテストしていません。
これを見てください。これがGoogle SynthIDです。私は以前からAI業界に注目していたのでこれについて知っていましたが、10月、つまり今月、Googleがこれを更新して、基本的にあらゆる種類のコンテンツにAIウォーターマークを付けることができるようになったことには気づきませんでした。これは本当にすごいことです。私はこの種の研究が必要だと個人的に考えています。なぜなら、将来は単にAIが生成した画像、テキスト、音声の大きな曖昧さになるでしょう。そして人間は何かがAIによって生成されたものかどうかを発見するのに本当に苦労することになるでしょう。Googleには私が後で再生する短いビデオがありますが、これは本当に魅力的です。なぜなら、AIが生成したテキストのウォーターマーキングがあり、テキストでこれを行う本当にクールな方法があり、それについては後で説明します。また、音楽用のものもあり、AIが生成した画像やビデオ用のデジタルシークレットウォーターマークもあります。
私はこれが必要だと個人的に考えています。なぜなら、ある人々は「誰かがAIが生成したものを使用して被害者になるまで、これは必要ない」と言うでしょう。そして私は誰もその被害者になって欲しくないと思います。そのため、これはおそらく企業がそれらを公開するためにモデルで行わなければならないことの一部になる可能性があります。そして私は、これが史上最悪のことだとは思いません。なぜなら、これは公衆を保護するために必要な、かなり重要なことだと思うからです。
これは実在のものですか、それともAIが生成したものですか？時には判断が難しい場合があります。数百年にわたって、人間はコンテンツがどこで作成されたかを証明するためにウォーターマークを使用してきました。一つの課題は、視聴者には見えないが、それを探している人には見える印を開発することです。ここでGoogle DeepMindのSynthIDの登場です。これは人間には気づかれないデジタルウォーターマークを生成でき、Google製品全体で機能して、AIが生成した画像、ビデオ、音声、テキストにタグを付けることができます。
このウォーターマークは、並べ替えやトリミング、ノイズの追加、圧縮、クロップ、フィルターなどの一般的な編集技術に耐えることができます。どのようにしてでしょうか？画像の場合、それは直接ピクセルに埋め込むことができます。ビデオの場合、各フレームにもマークを付けます。音声の場合、SynthIDは信号をスペクトログラムに変換し、音波の視覚的な表現に対してウォーターマークを埋め込んでから、全てを波形に戻します。テキストの場合、SynthIDは次に生成される単語を調べ、テキスト全体の品質と有用性に影響を与えない適切な単語選択の確率を変更します。文章に好ましい単語選択のインスタンスが多く含まれている場合、SynthIDはそれがウォーターマークされていることを検出します。あなたはウォーターマークを読んだり、聞いたり、見たりすることはできないので、作品を完全に楽しむことができます。SynthIDテクノロジーは既にGoogle Consumer製品の生成AIで使用されています。SynthIDは、生成AIツールが最初から安全性を念頭に置いて構築され、人々や組織が責任を持って作成できるようにするために使用している一つのツールに過ぎません。
明らかに、OpenAIは特に数多くの著名な退職者を経験しており、その中にはスーパーアラインメントチームの責任者であるJan Leaikも含まれており、彼はライバル企業のAnthropicに移籍しました。退職時、彼はXに次のように書きました。「私は会社の中核的な優先事項について、OpenAIのリーダーシップと長い間意見が合わず、ついに限界点に達しました」彼はまた、「私は、セキュリティ、モニタリング、準備体制、安全性、敵対的堅牢性、スーパーアラインメント、機密性、社会的影響、そしてそれに関連するトピックについて、次世代モデルに向けての準備により多くの帯域を費やすべきだと信じています。これらの問題は正しく解決するのがかなり難しく、私たちがそこに到達する軌道にいないことを懸念しています」とも書きました。皆さんの一次経験に基づいて、本質的にこれらの点に同意しますか？Saunders氏から始めて、他の方々にも回答があればお願いします。
ありがとうございます、上院議員。Jan Laikaは私がOpenAIにいた期間の多くで私のマネージャーでしたし、私は彼の意見と判断を本当に尊重していました。そして彼が話していたのは、いわば、OpenAIが生物兵器の作成を初心者が支援し始められるようなものや、前例のないような種類のサイバー攻撃を開始できるようなシステムなど、準備態勢フレームワークの下での高リスクモデルのような、重大な壊滅的リスクを持つモデルに対処する準備ができていないという多くの問題についてだったと思います。そしてそのような種類のシステムのために、まず私たちはセキュリティを確実なものにする必要があります。それらのシステムが何ができるかを理解する前に盗まれて、人々に害を与えるために使用されないようにするためです。
そして次に、ある状況下では誰かが生物兵器を作るのを助けることができるけれども、多くの人々が良いことのために使用したいと望むようなシステムを実際にどのように展開するのかを理解する必要があります。今日の全てのAIシステムはジェイルブレイクと呼ばれるものに対して脆弱です。これは、企業がこれまでに試みたことに関係なく、人々がシステムに何でも望むアドバイスや支援を提供させる方法を見つけ出せるということです。そして、私たちはこのような難しい問題の解決策を持つ必要があります。そして、また、システムを監督する人々より賢くなり、自律的に特定の種類のリスクを引き起こし始める可能性のあるモデルに対処する方法を持つ必要があります。そして、はい、私は彼が、また、現在私たちが持っているシステムに対して会社が厳密でなかった多くの領域について話していたと思います。これらは、まあ、いくつかの種類の問題を増幅するかもしれませんが、一旦、壊滅的なリスクが可能になる地点に達したら、私たちは本当に準備ができている必要があります。
それはもちろん、スーパーアラインメントチームが完全に解散されたことについて話すWilliam Saundersでした。これは全ての人を驚かせました。なぜなら、当時OpenAIはその問題に全計算能力の20%を投入することを決定していたからです。そして、もちろんこれは、William Saundersが実際に、これに関する主な問題の一つは、従業員がOpenAIを辞めようとすると、もちろん今では変更されていますが、本当に悪い非開示契約か、基本的に全ての持分を失うことになる何らかの契約があったということについて話す部分です。これは、当時OpenAIを去って会社について何か悪いことを言った場合、人々を本当に本当に困難な立場に置くものでした。
皆さんの何人かが内部告発者とその保護の必要性について言及されました。興味のある方は誰でも、その点について詳しく説明していただけませんか？皆さんは皆、企業を去ったり、何らかの形で関係を断ったりしたインサイダーですから、皆さんのお考えをお聞きしたいと思います。Saundersさん？
はい、ありがとうございます、上院議員。私がOpenAIを辞任した時、私は、つまり、彼らが全ての退職する従業員に、厳格な中傷禁止契約を与えているのを発見しました。そして、会社を批判しないこと、そしてこの契約に署名したことを誰にも言わないという契約に署名しなければ、会社での全ての持分を失うことになります。そして、これは本当に、従業員が会社の問題について話したい場合に直面する法的状況についての私の目を開かせました。そして私は、この状況で従業員が望む重要なことがいくつかあると思います。例えば、誰に話せるかを知ることです。政府のどの部分が、特定の種類の問題について専門知識を持っているのかが非常に不明確です。そして、あなたが話す相手が、あなたが持っている問題を理解し、それらに対して何らかの行動を取る能力を持っていることを知りたいのです。そして、法的保護も必要です。そしてここで、法律違反の疑いがある場合だけでなく、社会に対する害やリスクの疑いがある場合にも適用される保護を定義することが重要だと思います。そして、だからこそ、はい、法律には内部告発者の連絡窓口とこれらの保護の確立を含める必要があります。
次に、AGIの時期と、AGIの時点で適切な安全装置が整っていない場合に起こり得る深刻な影響についての話に入ります。これは、AGIがいつ起こり得るかを見ている人々のためのものです。
私が考えた時、約3年以内に壊滅的に危険な可能性のあるものについて、少なくとも10%の可能性があると思います。そして、OpenAI内部の多くの人々も、同様のことについて話していたと思います。そして、正確な詳細は分かりませんが、おそらくもっと長くなるでしょう。私は、その可能性に対して可能な限りの取り組みをせず、真剣に受け止めない組織のために働き続けることに快適さを感じませんでした。そして、私たちはそのための規制を考え出す必要があると思います。なぜなら、3年でなければ、5年か10年になるでしょう。これらのことは近づいてきており、私たちは何らかの安全装置を持つ必要があります。
その質問への答えはあなたにとってそれほど重要でないかもしれないという良いニュースがあります。その理由は、私のAIに関する背景が他の分野、人工知能一般についてではなく、AIとバイアス、AIとディープフェイクと選挙、そして最近ではAIと子供への危害についてだからです。とはいえ、私はUCバークレーの素晴らしい同僚のStuart Russellを持つ幸運に恵まれています。彼もこの委員会の前に出席したことがあります。Stuartは彼の研究室の会議に私を何度か招待してくれました。そこで私は、私たちの種を絶滅させないように人工知能を止めることに人生とキャリアを捧げた、コンピューターサイエンスの学位、博士号を持つ何百人もの人々に囲まれています。
社会学者として訓練を受けた私にとって、この問題についてどう考えるかを決めるのは少し難しかったのですが、政策と私たちに必要な政策について話が移ると、私の仕事で焦点を当ててきた問題と彼らの問題との間にほとんど意見の相違がないことが分かりました。責任、ライセンス、登録という同じ問題、彼らの多くもディープフェイクと欺瞞について非常に懸念しており、そのため出所が重要です。これらの主要な解決策は、AIのバイアス、差別、虚偽情報、選挙への干渉、子供への危害の問題に対処するために必要な解決策であり、また人工知能一般、あるいは超知能AIが悪意のある行為者によって破滅的な方法で私たちを害するために乱用される可能性という脅威にも対処するための解決策なのです。
さて、最後に、AGIの開発方法が非常にリスクの高いものだという非常に興味深い議論がありました。もし私たちが単に全てにおいて完全に優れたモデルを開発するだけなら、これは深刻な影響を持つ可能性があります。なぜなら、私たちはそれがどのように機能するのか、どの分野が苦手なのかを知らないかもしれないからです。しかし、もし私たちがタスク特化型のAGIを開発するなら、これは狭いAIに似ているけれど、ただAGIのようなもの、つまり経済のためのAGI、医療のためのAGI、YouTubeのためのAGI、AGIとして存在し得るあらゆるものに向けてのAGIのようなものですが、それによってそのソフトウェアの害をより成功的に予測することができ、よりより安全なモデルを持つことができます。これが彼らがそうする方法かどうかは分かりませんが、特定のことに対して本当に超高度なモデルがあっても驚きません。そしてもちろん、そのレベルに到達するためには何らかの基本的な知能レベルが必要だという議論もありますが、これが将来どのように発展するかを見るのは驚くべきことでしょう。
私はAIに携わり、厳密な評価について多くの仕事をしてきた者として、次のように言うのが有用だと思います - 私はAIシステムが人間レベルの知能を持つとはどういう意味なのか分かりません。私が理解していることは、人々にとっても重要で、人々も行う多くの異なるタスクでうまく機能するシステムを持つということに関連していると思います。私たちは全てを一緒にグループ化して、これは基本的に人間のようだと言うとき、間違いを犯していると思います。そして、AGIの取り組みは、システムが解決すべき具体的なタスクに焦点を当てていない時、本質的に問題を抱えている可能性があると言いたいと思います。そのため、多くの異なることが行われる可能性があるというAGIへの関心がある一方で、それらの具体的なことが何であるかを考え、それらの具体的なタスクのためにタスク特化型のモデルを作ることが有益かもしれません。そうすることで、何が起こっているかについてはるかに多くのコントロールを持つことができ、入力と出力のより厳密な分析を行うことができ、システムが役立つことを意図されている特定の領域内で物事を閉じたままにすることができます。

いいなと思ったら応援しよう！