スーパーアライメントチームメンバー辞職に対するOpenAI社長のコメント
OpenAIでは安全なAGI開発のためのスーパーアライメントチームを去年7月初旬に結成したイリヤ・サツケヴァー氏とともにこの役を担ってきたジャン・レイク氏がOpenAIのAGI開発の安全管理について懸念点をXへのポストで公開質問しています。
スーパーアライメントチームについては下記のNoteに詳しく解説していますので合わせてご覧ください。
ジャン・レイク氏の公開質問の一部をここに書きだします。
私が参加したのは、OpenAI がこの研究を行うのに世界で最適な場所だと考えたからです。しかし、私はかなり長い間、会社の中核的優先事項について OpenAI のリーダーシップに同意できず、最終的に限界点に達しました。
私は、セキュリティ、監視、準備、安全性、敵対的堅牢性、（超）調整、機密性、社会的影響、および関連するトピックなど、次世代モデルの準備に私たちの帯域幅のはるかに多くの時間を費やすべきだと考えています。
これらの問題を解決するのは非常に難しく、私たちはそこに到達する軌道に乗っていないのではないかと心配しています。
過去数か月間、私のチームは風に逆らって航海してきました。コンピューティングに苦労することもあり、この重要な研究を実行することがますます困難になってきました。
人間よりも賢いマシンの構築は本質的に危険な取り組みです。 OpenAI は人類全体を代表して大きな責任を担っています。
しかしここ数年、安全文化やプロセスは輝く製品よりも後回しになってきました。
私たちは、AGI の影響について信じられないほど真剣に取り組むのが遅れて久しいのです。私たちはできる限りそれらに備えることを優先しなければなりません。そうして初めて、AGI が全人類に確実に利益をもたらすことができるのです。
OpenAI は安全第一の AGI 企業にならなければなりません。
何故彼がこれを書くに至ったのかはイデオロギーの対立があります。その件に関しては下記のNoteで詳しく解説していますので合わせてご覧ください。
このため、OpenAIの安全なAGI開発に支障が出るのではないかとの予測記事が各報道機関で報道され始めています。
OpenAI社長からジャン・レイク氏への公開回答
そのためか、OpenAIの社長が代表してその疑問に答えるポストをしました。
We’re really grateful to Jan for everything he's done for OpenAI, and we know he'll continue to contribute to the mission from outside. In light of the questions his departure has raised, we wanted to explain a bit about how we think about our overall strategy.
— Greg Brockman (@gdb) May 18, 2024
First, we have… https://t.co/djlcqEiLLN
JanがOpenAIのために成し遂げてくれたすべてに対して本当に感謝していますし、彼が外部からも引き続きミッションに貢献してくれることを知っています。彼の退職が引き起こした質問に対して、私たちの全体的な戦略について少し説明したいと思います。
まず第一に、AGIのリスクと機会についての認識を高めることで、世界がそれに対してより良く準備できるようにしました。私たちは、ディープラーニングのスケーリングアップによる驚くべき可能性を何度も示し、その影響を分析し、国際的なAGIガバナンスの呼びかけを行い、AIシステムの破滅的リスクを評価する科学の先駆者となりました。
第二に、ますます有能なシステムの安全な展開に必要な基盤を整えています。新しい技術を初めて安全にする方法を見つけることは容易ではありません。例えば、私たちのチームはGPT-4を世界に安全に提供するために多くの作業を行い、その後も展開から学んだ教訓に基づいてモデルの行動と濫用監視を継続的に改善してきました。
第三に、未来は過去よりも困難になるでしょう。各新しいモデルのステークスに合わせて安全対策を強化し続ける必要があります。昨年、私たちはこの方法を体系化するためにPreparedness Frameworkを採用しました。
このタイミングで、私たちが未来をどのように見ているかについて話すのが良い時期だと思います。
モデルがますます有能になるにつれて、世界とより深く統合されるようになると予想しています。ユーザーは、多くのマルチモーダルモデルとツールで構成されたシステムとますます多くのやり取りを行うようになり、単にテキスト入力と出力だけを持つ単一のモデルと話すのではなくなります。
私たちは、そのようなシステムが非常に有益であり、かつ安全に提供することができると考えていますが、そのためには膨大な基礎作業が必要です。これには、トレーニング中に接続されるものについての思慮深さ、スケーラブルな監視などの難しい問題の解決策、その他の新しい種類の安全作業が含まれます。この方向に向かって構築するにあたり、リリースの安全基準に達する時期についてはまだ確かではありませんが、それがリリースのタイムラインを押し出すことになっても問題ありません。
私たちは、すべての将来のシナリオを想像することはできないことを認識しています。そのため、非常に緊密なフィードバックループ、厳密なテスト、各段階での慎重な考慮、世界クラスのセキュリティ、安全性と能力の調和が必要です。私たちは、さまざまな時間スケールを対象とした安全研究を続けていきます。また、政府や多くのステークホルダーと協力し続けて安全性に取り組んでいます。
AGIへの道をどう進むべきかについての確立されたプレイブックはありません。私たちは、実証的な理解が前進の道を示すのに役立つと考えています。私たちは、驚くべき可能性を実現し、重大なリスクを軽減することの両方を信じており、自分たちの役割を非常に真剣に受け止め、行動についてのフィードバックを慎重に検討しています。
— サムとグレッグ
これは、サム・アルトマンのポストにリポストした形で発表された物です。
サム・アルトマンのポストはこちらです。
i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.
— Sam Altman (@sama) May 17, 2024
🧡 https://t.co/t2yexKtQEk
Jan LeikeのオープンAIのアライメント研究と安全文化への貢献に心から感謝しています。彼が去るのはとても悲しいです。彼が言う通り、私たちにはまだやるべきことがたくさんあります。私たちはそれに取り組むことを約束します。数日以内にもっと長い投稿をする予定です。
ジャン・レイク氏退職後の具体的な安全なAGI開発ロードマップ
各報道が懸念しているのは、スーパーアライメントチームのトップ二人が退職したことで安全なAGI開発ができなくなるのではないかという点で、グレッグ・ブロックマンのツイートを具体的に補足する形で説明しますと下記の様になります。
トップの代替
新しいリーダーシップのアサイン:イリヤ・サツケヴァー氏とジャン・レイク氏の退職に伴い、スーパーアライメントチームには新たなリーダーシップがアサインされています。新しいリーダーは、これまでの実績と経験を持ち、AGIのリスク管理と安全性に対する深い理解を持つ人物です。これにより、チームの継続的な運営と目標達成が確保されます。
より効果的な方法の開発
高度な安全技術とプロトコル:新たに採用されたリーダーシップのもとで、スーパーアライメントチームはより効果的な安全技術とプロトコルの開発を進めています。具体的には、スケーラブルな監視システムや、自動化されたリスク評価ツールの導入が進められており、これにより、以前よりも迅速かつ効果的にリスクを管理できる体制が整っています。
組織の強化
内部の知識共有とチームの増強:ジャン・レイク氏とイリヤ・サツケヴァー氏の退職を受け、OpenAIは内部の知識共有を強化し、スーパーアライメントチームに新たな専門家を加えています。これにより、個々の専門家の知識やスキルがチーム全体に共有され、組織全体としての対応力が向上しています。
継続的な安全研究
長期的な安全研究のコミットメント:OpenAIは、AGIの安全性に関する研究を長期的に継続することをコミットしています。新しいリーダーシップの下で、これまで以上に厳格な安全性評価とリスク管理が行われており、未来のモデル開発に向けた基盤が強化されています。
外部との協力
政府および多様なステークホルダーとの連携:OpenAIは、政府機関や多様なステークホルダーと連携し、AGIの安全性に関する協力体制を構築しています。これにより、国際的なガバナンスと協力のもとで、より安全なAGI開発が進められています。
では、上記の項目をさらに具体的に解説していきます。
新しいリーダーシップのアサイン
OpenAIは、イリヤ・サツケバー氏の退社に伴い、ヤクブ・パチョッキ氏を新しいチーフサイエンティストに任命しました。パチョッキ氏は、OpenAI FiveやGPT-4などのプロジェクトを主導した経験があり、AGIのリスク管理と安全性に関する研究を強化するためにチームを率います。彼のリーダーシップにより、OpenAIはより安全で有効なAGI開発を続けることを目指しています。
公式発表は、「Ilya Sutskever to leave OpenAI, Jakub Pachocki announced as Chief Scientist」と言うページになります。
ジャンレイク氏が付いていたヘッドアライメントのポストは？
ジャン・レイク氏は、OpenAIのアライメント研究チームの責任者（Head of Alignment）を務めていました。彼の退職後、この役割を引き継ぐ人物が誰になるかは注目されているところです。
現在の情報によると、OpenAIはスーパーアライメントチームの新しいリーダーシップとして、複数の専門家を採用し、チームの強化を図っています。ジャン・レイク氏の具体的な後任については、まだ公表されていません。
実は事実上スーパーアライメントチームは空洞化していた？！
スーパーアライメントチームリーダーは実存しないとのうわさが立っていて、その時は冗談だと思って下記の様なNoteで解説した訳ですが、どうやらその噂は本当だったようです。