見出し画像

AI界隈の先週のニュース #183 - OpenAIのo1、Adobeの動画生成、DeepMindのAlphaProteo

AIに仕事を奪われたい

25,059 文字

おっちゃん: はいはい、AI界隈の先週のニュースやで。今回もいつも通り、先週の気になるAIニュースについておしゃべりしていくわ。ちなみに、このポッドキャストで取り上げへんかったニュースも、lastweekin.aiっていうニュースレターで見られるで。そこにはこの放送のリンクもあるし、記事へのリンクもあるから、見てみてな。
わいはAndrey Kurenkovいうて、昔スタンフォードで博士号とったんやけど、今はジェネレーティブAIのスタートアップで働いてるわ。
おっちゃん2: あかん、博士号の話がどんどん昔の話になってきてるな。
わいはJeremy Harrisや。Gladstone AIっていう国家安全保障関連のAI企業の共同創業者やねん。まだここにおるってことは、赤ちゃんがまだ生まれてへんってことやな。来週はおらんかもしれんけど、どうなるかわからへんわ。
おっちゃん: そやな、多分今週が最後やろうな。来週からはJohnか他の常連がおるはずや。でも、今週はおもろい話題がたくさんあるから、ちょうどええタイミングやったな。
ところで、ごめんな。わいがこのポッドキャストの編集もしてるんやけど、最近スケジュールがちょっとずれてもうてな。今週から3回分を5、6日で公開しようと思ってるわ。うまくいくかわからんけど、頑張るわ。
あと、いつも通りフィードバックとコメントの紹介をちょっとだけしとこか。Apple Podcastsで新しいレビューがあったわ。「優れたAIの宝石」っていうタイトルで、weightless rebuildさんからや。政策についても議論してほしいって言うてはったわ。「バランスの取れたAIの食事」っていうフレーズが気に入ったわ。これからそう言うことにしようか。
他にも「すばらしいニュースと議論」っていうレビューもあってな。安全性の問題、特に存在リスクに焦点を当ててるのを評価してくれはったわ。
おっちゃん2: そやな、コメント合戦は続いとるな。反対意見も待っとるで。みんな聞いてくれてありがとうな。わいらの小さな人間の脳みそでできる限りがんばるわ。
そやな、みんなのためにバランスの取れたAIの食事を提供していくで。
おっちゃん: ほんまやな。じゃあ、ツールとアプリの話題から始めよか。今週の一番のニュースは、多分今月一番のニュースやけど、OpenAIのStrawberryがついに公開されたことやな。いつからStrawberryの噂が出始めたんやろ。もう1年くらい前から聞いとった気がするわ。で、今回公開されて、O1とO1 miniっていう名前になったんや。
使えるようになったけど、使用量に制限があるな。ブログ記事もあるけど、詳細はそんなに書かれてへんわ。でも、わかってることを説明していくで。
要するに、これは複雑な推論に特化した新しいモデルなんや。以前から話題になってた「思考の連鎖」っていうのを最適化してるんや。つまり、出力する前に、モデルがちょっと考える時間を取るんや。クエリについて推論して、どんな応答をすべきか数回考えてから出力するんや。
そのせいで、このモデルはかなり遅いんや。応答するのに20秒、長いと25秒くらいかかるって聞いたわ。値段も高くなるやろうな。でも、数学オリンピックの問題や高度なコーディング、博士レベルの質問なんかのベンチマークではめっちゃ良い成績を出してるんや。
ただ、Twitterで指摘されとったけど、OpenAIはGPT-4と比較しただけで、他の似たようなシステムとは比べてへんらしいわ。だから、今のところ比較がはっきりしてへんのや。
みんな興奮しとるわ。やっとStrawberryが出たな。みんなが予想してたような推論モデルで、もっと検索とか計算時間、思考の連鎖なんかが組み込まれてるんや。
おっちゃん2: そやな。公に知られとることは予想通りやけど、公に知られてへんことも多いんや。だから、これが一体何なんやろって疑問がいっぱい出てきとるわ。OpenAIは強化学習を使ってるって言うとるけど、それ以上のことはわからへんのや。
彼らが言うには、推論時により多くの計算リソースを使うんやって。普通は何億ドルもかけて事前学習して、巨大な文章自動補完システムを作るやろ。でも、ChatGPTみたいなシステムやと、クエリを送って1回推論するだけで応答するんや。
でも、このシステムは自分自身に複数回クエリを送るみたいなんや。思考の連鎖プロンプティングもその一部やって。OpenAIのドキュメントにも書いてあるわ。ブログ記事によると、思考の連鎖で作られた推論の過程が最終的な出力を作るのに重要やって。
でも、システムを使うときにその推論の過程は見られへんのや。OpenAIがそれを見せへんようにしとるんや。これはおもろい戦略的決定やな。彼らは「ユーザー体験」とか「競争上の優位性」とか言うてるけど、本当のところは競争上の優位性やろうな。
推論の過程を公開したら、他の人がそれを使って自分のモデルを訓練できるからな。この推論プロセスの訓練が重要みたいやし、推論の過程をたくさん集められたら、モデルの性能を再現できるかもしれんのや。
噂によると、OpenAIはこのモデルを使って次世代のOrionを訓練しとるらしいわ。だから、この推論の過程は次世代モデルの訓練データとして貴重なんやろうな。
OpenAIはよく透明性を大事にしとるって言うけど、今回は競争上の理由で公開せえへんって正直に言うてくれたわ。でも、安全性の面では推論の過程を見られへんのはちょっと問題かもしれんな。
モデルが隠れたメッセージを出力に埋め込むことができるって示されとるからな。人間には見えへんけど、モデル自身は解釈できるようなコード化された情報をテキストに隠せるんや。これをステガノグラフィーって言うんやけど。
だから、推論の過程を読んでも、悪いことを企んどるように見えへんかもしれんけど、実際はそうやないかもしれんのや。だから、誰でも監査できるように推論の過程を公開した方がええかもしれんな。
他にもわかったことがあるで。このモデルの価格設定がおもろいんや。大体、普通のGPT-4の5倍くらいの値段やって。OpenAIがこのモデルへのアクセスに月2000ドルくらい取るんやないかって噂もあったけど、それはちょっと考えにくいな。
APIの推論コストが5倍やったら、ChatGPTの月額課金が20ドルやから、その5倍でも2000ドルにはならへんやろ。どうやって儲けていくんやろな。
それと、このモデルには2つのバージョンがあるんや。O1 previewっていう大きいバージョンと、O1 miniっていう小さいバージョンや。どっちもめっちゃ性能がええらしいで。
競技プログラミングの問題で89パーセンタイルやって。つまり、人間の90%よりも優秀やってことや。物理、生物、化学の博士レベルの質問でも人間を超えとるし、マルチモーダルのベンチマークでも他のモデルを圧倒しとるんや。
これはほんまにすごい進歩やと思うわ。スケーリング則っていうのがあって、より多くのデータとコンピューティングパワーで訓練すると、モデルの性能が上がるっていうのがあるんやけど、今回は推論時間のスケーリング則も示されたんや。
これは大きな発見やな。モデルの性能をさらに上げるには、訓練時のスケーリングだけやなくて、推論時のスケーリングも重要やってことや。これからAIの進歩がもっと加速するかもしれんな。
おっちゃん: そやな。OpenAIはAppleみたいなもんやな。特に新しいアイデアはないけど、既存のアイデアをうまく組み合わせて、エンジニアリングの力で実現するんや。SoraやDALL-E、GPTなんかもそうやったな。
他にも気づいたことがあるわ。このモデルは関数呼び出しができへんのや。ちょっと意外やな。データベースにクエリを送ったり、複雑な計算をしたりできへんから、できることが限られてしまうやろうな。
それと、推論の過程を見せへんっていうのが一番驚いたわ。ユーザーにとってはそんなに問題やないかもしれんけど、AIアプリケーションの開発者にとっては大きな問題やと思うわ。デバッグしたり、理解したり、扱ったりできへん隠れた動作があるのはあかんやろ。
しかも、60ドル/100万トークンっていう高い値段で、入力に対してより多くのトークンを出力するんや。エンジニアにとってはいろいろ考えなあかんことが出てきそうやな。
既知の技術で似たようなことをGPT-4.0やClaud 3.5でどこまでできるんかっていう疑問も出てくるな。ベンチマークだけやなくて、実際にどれくらい違うんかわからへんしな。
おっちゃん2: そやな、おっしゃる通りや。開発者向けの機能もまだ足りんところがあるな。システムプロンプトとか温度パラメータとか構造化プロンプトなんかもサポートしてへんし。
OpenAIはこれを暫定的なローンチって言うとるから、そのへんは今後改善されるかもしれんけど、推論の過程を公開するのは難しいやろうな。次世代モデルの開発に使うとるみたいやし。
開発者の立場からすると、不透明な推論過程を受け入れるのは難しいかもしれんな。でも、今でもLLMの内部で何が起こってるかわからへんまま使っとるわけやし、似たようなもんかもしれん。
ただ、今回は複数のステップがあるから、それぞれのステップで失敗する可能性があるわな。将来的にツールにアクセスできるようになったら、さらに問題が出てくるかもしれんし。
開発者がこのシステムの安全性に自信を持つまでには時間がかかるやろうな。でも、みんないろんなおもろいことをしとるみたいやし、楽しみやわ。
ただ、OpenAIが「推論の過程を見せることで監査しやすくなる」って言うとるのはちょっと問題やと思うわ。監査できるようになるだけやなくて、操作もしやすくなるわな。それを開発者から奪うってことは、価値を奪うってことやと思うわ。
このモデルが万能やないっていうのも覚えとかなあかんな。GPT-4.0より性能が落ちる部分もあるんや。数学や計算、データ分析、プログラミングなんかの論理的な作業は得意やけど、文章を書いたり編集したりするのは苦手みたいやわ。
だから、用途によってはGPT-4.0の方がええ場合もあるかもしれんな。全体的には性能が上がっとるけど、特定の作業ではそうやないかもしれんってことや。
おっちゃん: 最後にもう一つ言っとくわ。OpenAIは過去の経験から学んどるんやろうな。ChatGPTの出力を使って学習データを作るっていうのをいくつかの会社がやっとるみたいやし、それはほんまに競争上の優位性を保つ理由になるわな。他の理由はあんまり納得できへんけど。
次の話題に行くで。また動画生成の話や。今回はAdobeやな。Fireflyっていう彼らのテキスト生成モデルで、今年中に動画生成ができるようになるって言うとるわ。
Fireflyは、Photoshopなんかのユーザーが使えるテキスト画像生成モデルやねんけど、著作権の問題がない、ライセンスされたデータだけで学習しとるっていうのが特徴やった。
で、今回は数ヶ月以内に動画生成ができるようになって、Premiere Proのベータ版で使えるようになるらしいわ。Premiere Proっていうのは、動画編集ソフトの業界標準みたいなもんやな。
generative extend、text to video、image to videoっていう機能が、今はプライベートベータやけど、もうすぐ公開されるらしいわ。
Adobeがこういうことをしてるのは驚かへんけど、時間かけてるのはわかるな。デモやなくて、プロが使える製品を作らなあかんからな。
他の製品ほど高品質にはならんかもしれんけど、少なくともgenerative extendは結構ええんちゃうかな。学習用のデータはたくさん持っとるやろうし。
おっちゃん2: そうやな。Adobeは操作性で差別化したいみたいやわ。既存のワークフローに組み込んで、いろんな編集ツールと組み合わせて使えるようにするんやろな。
値段はまだ言うてへんけど、システムにはセーフガードをつけるみたいや。ヌードとか薬物、アルコールの動画は作れへんようにするし、政治家や有名人の学習データは使わへんらしいわ。他の会社みたいに「何でもあり」っていうわけやないな。
動画生成の技術で一番気になるのは、コストとスピードやな。ビジネスで実用的に使えるレベルになるんはいつやろ。見る速度と同じくらいの速さで生成できるようになったら、リアルタイムで動画とやりとりできるようになるやろ。それはもうすぐかもしれんな。音声はもうそのレベルに来とるし。
おっちゃん: 次はライトニングラウンドや。ちょっとだけニュースを紹介するで。
まず、AnthropicがClaude Enterpriseってのを出したわ。OpenAIが数ヶ月前にやったみたいなもんやな。普通の企業向けの機能がついとって、セキュリティ、管理コントロール、監視、役割ベースのアクセス、監査ログ、細かい権限設定なんかができるようになっとるわ。
驚かへんけど、やっぱり企業向けが儲かるんやな。一般消費者向けやないわ。OpenAIはビジネス利用で成功しとるみたいやし、AnthropicとClaudeがどれくらい競争できるんか気になるわ。ClaudeはGPTより性能がええって人もおるけど、ビジネスとしての競争力はどうなんやろな。
おっちゃん2: そやな。Anthropicが企業向けに力入れるのはわかるわ。一般向けやと、ブランド認知度が重要やけど、Anthropicのこと知っとる人少ないからな。ChatGPTは誰でも知っとるけど。
企業向けの方が、Anthropicの「アライメント」重視の戦略に合うんかもしれんな。幻覚が少なくて、ビジネスでは慎重な回答の方がええやろ。訴訟のリスクも減らせるし。
でも、長期的にどうなるかはわからんな。OpenAIとの競争がどうなるか見守っていこか。
おっちゃん: 最後の話題や。Repl.itっていうAI駆動のソフトウェア開発・デプロイツールを作っとる会社があるんやけど、新しいAIエージェントを発表したんや。
Repl.itの登録者なら使えるベータ版で、もっと複雑なソフトウェアを実装できるらしいわ。「こんなアプリ作って」って言うたら、エージェントが課題を理解して、ステップを作って、一つずつ実行して、テストしてデバッグするんや。
コーディング関連の会社は、みんなこういう方向に進んどるな。複雑なコーディングタスクをこなせるように、エージェントアプローチを採用しとる。複数のステップで推論して実行するんや。
どれくらいうまくいくか、人々が何を作れるようになるか、興味深いわ。エージェントでまだすごいものは作られてへんけど、みんな頑張っとるし、もうすぐブレイクスルーが来そうな気がするわ。
おっちゃん2: そやな。ここ数週間でティッピングポイントに達したんちゃうかな。O1みたいなモデルを使うとほんまに起こりそうや。
ソフトウェアエンジニアリングの仕事にも大きな変化が来るかもしれんな。いつかは起こるやろうけど、予想より早くなりそうや。
Repl.itは面白い優位性を持っとるんや。彼らのプラットフォームには「バウンティ」っていうサービスがあって、開発者にソフトウェアプロジェクトの構築を依頼できるんや。その依頼は普通の英語で書かれとって、まさにエージェントに与えるプロンプトみたいなもんなんや。
だから、Repl.itは単なるコード補完やなくて、ソフトウェア開発のライフサイクル全体をカバーするデータを持っとるんや。スキャフォールディングからコード作成、デバッグ、デプロイメントまで全部や。しかも人間が丁寧に説明したデータやからな。
OpenAIが推論の過程を公開せんのと比べたら、これは人間が作った推論の過程みたいなもんやな。しかも長期的な思考も含まれとる。
だからRepl.itは、ソフトウェアエンジニアリングの自動化で面白い展開ができるかもしれんな。CEOのAmjad Massadは、AGI（汎用人工知能）への道筋があるって言うとるくらいや。どうなるか見守っていこか。
おっちゃん: 次はアプリケーションとビジネスの話や。また OpenAIの話やけど、今度は資金調達の話や。OpenAIの企業価値が1500億ドルまで上がるらしいわ。先週は1000億ドルって話やったのに、もう1500億ドルやて。インフレがすごいな。
前回の資金調達では860億ドルやったんや。収益は数十億ドルくらいやろうけど、利益やなくてな。収益に対する企業価値の比率はかなり高いわ。テック業界ではそんなに珍しくないけど、それでもかなり高いな。
1500億ドルっていうのはめっちゃ大きな飛躍や。競争も激しくなっとるのに、GoogleやAnthropicやMistralとかもおるし、OpenAIだけやないのにな。ちょっと意外やけど、OpenAIは今のところうまくいっとるみたいやな。
おっちゃん2: そやな。資金調達自体も面白いわ。Thrive Capitalが主導するみたいやし、MicrosoftやApple、NVIDIAも投資を検討しとるらしい。
最近の情報によると、OpenAIがUAEの投資ファンドと70億ドルの交渉をしとるらしいわ。今回の65億ドルの資金調達とは別かもしれんけど、もしそうなら国家安全保障の問題も出てくるな。
それに、OpenAIは銀行から50億ドルの融資も受けようとしとるらしい。これはIPO（新規株式公開）の前によくある動きなんや。IPOするって決まったわけやないけど、その方向に進んどる可能性はあるな。
1500億ドルっていったら、世界で最も価値の高い非公開企業の一つやで。これ以上資金調達するなら、そろそろ株式市場に上場せなあかんかもしれん。でも、OpenAIの「人類の利益のためのAGI」っていう方針とは相容れへんように思えるけどな。
OpenAIが投資家にとって魅力的になるように組織を再編しようとしとるって噂もあるわ。投資家への利益の上限を引き上げるかもしれんな。
他にもわかったことがあるで。OpenAIの従業員に対して、今年後半に株式を売却できるようにするって内部メモが出たらしいわ。そのときに新しい企業価値が決まるんやろな。
IPOの前の最後の現金化の機会かもしれんし、そうやないかもしれん。わいはOpenAIがIPOするとは思わへんけど、そんな方向に進んでるように見えるのは確かやな。
おっちゃん: そやな、IPOは面白いことになりそうや。普通、現金を調達するために上場するんやけど、今回の資金調達と融資で十分な現金ができるはずやしな。
でも、スケーリングの話とか、半導体工場を作るとか野心的な計画を考えると、100億ドルくらいあっという間に使い切って、すぐにまた50億か100億ドル必要になるかもしれんな。ちょっと変やけど、ありえんことやないわ。
OpenAIのビジネスについて、もうちょっと詳しいことがわかったで。ChatGPTの有料ビジネス版のユーザーが100万人を超えたらしいわ。ChatGPT TeamとEnterpriseサービス、大学で使われとるChatGPT EDUも含めてな。
これらは比較的新しいサービスやで。ChatGPT Teamsは1月に始まったし、ChatGPT EDUも数ヶ月前やったと思う。かなり急速に成長しとるみたいやな。
企業ユーザーの半分弱がアメリカで、ドイツ、日本、イギリスでも人気があるらしいわ。まあ、驚かへんけどな。
おっちゃん2: そうやな。記事にはそれくらいの情報しかないけど、これが1500億ドルっていう企業価値の根拠になっとるんやろな。成功しとるってことやわ。
投資家はO1モデルとかOrionの現状とか、他の開発中のものも見られるんやろうし。1500億ドルっていう数字を見ると、かなりの成功を収めとるんやろうな。
小さな会社やと、実際の収益に比べてめちゃくちゃ高い企業価値がつくこともあるけど、企業価値が上がるにつれて、実際の収益も期待されるようになるわな。AGI企業は将来の価値が大きいから特別かもしれんけど、それでもある程度の成長は必要やろ。
おっちゃん: そやな。The Informationっていう技術系のニュースサイトの記事によると、OpenAIのCEOが「ChatGPTの有料登録者が1100万人を超えた」って言うとったらしいわ。つまり、ビジネス以外に1000万人の有料ユーザーがおるってことやな。
ざっと計算すると、月に2億2500万ドル、年間で30億ドル近い収益があるってことやな。ビジネス向けはもっと高いから、実際はもっと多いかもしれへん。他のAI企業よりかなり多いやろうな。
次はライトニングラウンドや。TSMCのアリゾナ工場の話やで。TSMCのアリゾナの新しい工場が、台湾の工場と同じくらいの生産効率を達成したらしいわ。
この工場は2024年4月に試験生産を始めて、今年から本格生産する予定やったけど、熟練労働者不足で2025年に延期されたんや。
台湾の工場と同じ生産効率を達成したのはめっちゃ重要なことやで。Jeremyがよく言うように、半導体工場にとって生産効率は命やからな。TSMCはこれで有名になったんや。
新しい工場を建てると、いろんな理由で生産効率が下がるんやけど、それを克服したってことやな。例えば、チップに埃が落ちたらアウトやし、生産効率を下げる原因は山ほどあるんや。それを台湾の工場と同じレベルまで持ってきたのはすごいことやな。
おっちゃん2: そうやな。これはTSMCの有名なFab 21アリゾナ施設のことやな。アメリカの国内半導体生産に500億ドル投資するCHIPS法の成果やと言えるわ。政治的にも国家安全保障の面でも大きな勝利やな。
航空母艦1隻分のリスク資本、つまり500億ドルくらいを1つの工場に投資するんや。しかも成功するかどうかわからへんリスク資本やからな。Intelは今、苦戦しとるみたいやし。
でも、いろいろ問題があったにもかかわらず、TSMCは4nmプロセスノードで前に進んどるんや。4nmプロセスってなんやって？ 簡単に言うと、チップの製造精度のことや。ノードサイズが小さいほど、より高度なチップが作れるんや。
今のiPhoneは3nmプロセスを使っとって、NVIDIA H100は5nmプロセス、A100は7nmプロセスや。この4nmプロセスは5nmと3nmの間くらいの技術やね。
新しい工場を作るときは、最先端より1、2世代前の技術から始めるのが普通なんや。今回も3nmやなくて4nmから始めとる。そこから徐々に進歩させていくんやけど、それには時間と努力がかかるんや。
TSMCは具体的な生産効率は公表してへんけど、過去4年間の粗利益率が53%、純利益率が36%くらいやから、かなり効率のええ生産プロセスやと思われるわ。
この生産効率を海外でも維持できるかが大きな課題やったけど、今回の結果を見ると、台湾以外でも再現できる可能性が出てきたな。
アリゾナの工場は特にアメリカにとって重要やで。もし中国が台湾に侵攻したら、TSMCの工場のためかもしれんけど、このアリゾナ工場があれば半導体生産のバックアップになるからな。
おっちゃん: 次の話題や。日本のSakana AIがNVIDIAと提携して研究を進めるらしいわ。それに1億ドルの資金調達もしたんや。
これは東京のスタートアップで、有名な研究者がおるんや。最近、彼らのAI科学者の論文について話したばっかりやな。今回はシリーズAの資金調達で、Coatue Ventures、Lux Capital、NVIDIAから資金を得たんや。
これは彼らにとってめっちゃ重要やな。今のところ、Sakanaはあんまり目立った成果を出してへんけど、研究論文はいくつか出しとるな。
LLMを提供するビジネスで競争していくつもりなら、この程度の資金は必要やろうな。
おっちゃん2: そやな。これは国の代表的な企業って感じやな。フランスのMistralとか、イギリスのGoogle DeepMindみたいなもんや。
日本はここ20年くらい経済が停滞しとるから、国内のテック産業を盛り上げたいんやろうな。Web3産業を支援するための税制改革もやっとるし。
AI Scientistの論文はほんまに印象的やったな。賛否両論あったけど、チームもすごいし。これが彼らの大きな一手になりそうや。NVIDIAはええパートナーになるやろうし、Coatue VenturesのVinod Khoslaは早い段階でGoogleに投資したことで有名な投資家やからな。
戦略的に見て、このシリーズAは大きな意味があるわ。
おっちゃん: 次はプロジェクトとオープンソースの話や。おもろいオープンソースのリリースがあったんや。「Reflection 70Bの寓話」っていう記事があるんやけど、これについて説明するわ。
数週間前に、Reflection 70Bっていうオープンソースモデルがリリースされたんや。これはLlama 2をファインチューニングしたモデルで、「リフレクション」っていう手法を使っとるんや。
この手法は、モデルが内部で推論するときにタグを使って、出力の前に考えを整理するみたいなもんや。CEOが発表したときは、すごい数字を出しとったんや。
でも、公開された重みを使って結果を再現しようとした人たちが、同じような数字を出せへんかったんや。それで、CEOが重みのアップロードに問題があったって言うて、APIでモデルをテストできるようにしたんや。
ところが、すぐに人々はそのAPIが実はClaude 3.5や他のモデルにリダイレクトしとるって気づいたんや。例えば、「Claude」って言葉を出力させようとすると、空の文字列が返ってきたりしたんや。
結構批判されて、CEOは謝罪して、興奮しすぎて早とちりしたって言うたんや。結局、ちょっと変な、でもどこか面白い出来事やったな。
おっちゃん2: そやな。裏で何が起こったんかは正確にはわからへんけど、ありそうな説明はあるな。
Matt Schumerっていうこの会社のCEOは、オープンソースコミュニティで尊敬されとる人やからな。こんな短絡的な詐欺をするような人やないんや。
彼が言うには、ローカルで間違ったAPIエンドポイントを使ってテストしてしもて、Claude 3.5 Sonnetで全部のテストを走らせてしもたんやないかって。それで、自分のモデルの結果やと思い込んで興奮して、テストしてへんモデルをアップロードしてしもたんやろうな。
そしたら、「あかん、動かへん」ってなって、でも大げさなこと言うてもうたから後には引けへん。それで、どうしたかっていうと...ここからが闇やな。ごまかし始めたんや。
Claude APIにリンクして、人々が気づき始めたら今度はGPT-4.0に切り替えたんや。バックエンドで実際にそんなことが起こったって示すテストがいくつもあるんや。
結局、自分で作った罠にはまってしもて、詐欺まがいのことをしてしもたんやろうな。残念な状況やわ。
この騒動で盛り上がってたのが嘘やったってことやな。Reflection 70Bは、少なくとも我々が思っとったようなモデルやなかったってことや。
おっちゃん: そやな。今はもうモデルにアクセスできへんし、多分取り下げられとると思う。謝罪の声明を出して、エンジニアと一緒に何が起こったか調べるって言うとったわ。
めっちゃ恥ずかしい話やけど、致命的ってほどでもないかもな。尊敬されとる人やし、最初から詐欺するつもりやなかったんやろう。たぶんLlama 2をこういうアイデアでファインチューニングしようとしとったんやと思うわ。
でも、大げさなことを言う前にもうちょっと慎重になるべきやったな。
次はまたGemmaの話や。GoogleがいろんなバージョンのGemmaを出しとるけど、今度はData Gemmaや。
ブログ記事で、実世界のデータを使ってAIの幻覚に対処する方法について書いとるんや。まだ研究段階みたいやけど、アイデアを探っとるところみたいやな。
研究論文やないし、具体的な数字もないけど、幻覚を減らす方法をいくつか探っとるって感じやな。
GemmaとGeminiをData Commonsっていう公開されとる知識グラフと接続しとるんや。Data Commonsには2400億個の豊富なデータポイントがあるんや。知識グラフっていうのは、いろんな種類の事実が入っとるもんや。例えば、「オバマは2008年に大統領やった」みたいなのがたくさん入っとるわけや。
接続の仕方は2つあって、1つは生成中にData Commonsにクエリを送る「検索インターリーブ生成」。もう1つは生成前にクエリを送る「検索拡張生成」や。
Gemini 1.5の長いコンテキストウィンドウを使っとるらしいわ。
論文も出しとって、「When to Ask: Bridging Large Language Models and Data」っていうタイトルや。この手法を試せるノートブックも2つ公開しとるな。
特に目新しいものはないけど、役立つソフトウェアやし、他の研究者やエンジニアが使えるもんやと思うわ。
おっちゃん2: そやな。特に「検索インターリーブ生成」の技術は、普通のLLMとエージェントの境目をぼかすようなもんやな。
プロンプトを与えたら、モデルがまず必要なデータを特定して、Data Commonsから答えを取ってくるんや。つまり、事実のリポジトリからデータを引っ張ってくるわけや。
これは新しい技術やないけど、Data Gemmaの枠組みでの特定の応用が独特やな。検索拡張生成と組み合わせとるのも面白いわ。
結局、これも推論時により多くの計算リソースを使う方法の一つやな。単純に一発で応答するんやなくて、ちょっとエージェント的になってきとるわけや。
我々がずっと言うとったように、テスト時の計算量が決定的に重要になってきとるってことやな。これもそのトレンドを示すデータポイントの一つやと思うで。
おっちゃん: オープンソース関連の最後の話題や。DeepSeek v2.5が、新しい真のオープンソースAIモデルのリーダーとして称賛されとるんや。
VentureBeatの記事やけど、ちょっと褒めすぎやと思うわ。でも、実際そうみたいやな。
DeepSeek 2.5はかなり大きなモデルで、いくつかの評価によると、他のオープンソースLLMを上回っとるらしい。特にLlama 2 70Bを超えとるのが注目されとるな。
Llama 2 70Bはオープンソース界隈のリーダーの一つやからな。オープンソースの中でトップクラスの性能を出すのはめっちゃ難しいんや。
Claude 3.5みたいなオープンソースやないモデルには及ばへんけど、それでもかなりの成果やと思うわ。
おっちゃん2: そやな。人間評価のPythonで89点取ったのはほんまにすごいわ。
ただ、この評価はGPT-4.0を使ってやっとるから、LLMがLLMを評価しとるってことやな。そういう評価方法には問題もあるかもしれへんけど、それでもこれは本当にすごい成果や。
DeepSeek 2.5の特徴の一つが「マルチヘッド潜在アテンション」っていう技術なんや。これはアテンション計算に必要な処理能力とパラメータ数を減らす技術や。
モデルの性能を落とさずに推論速度を上げることができたんや。
それと、DeepSeekは「High Flyer」っていう会社の子会社なんやけど、これが中国で1万台以上のNVIDIA A100 GPUを持っとる6社の一つなんや。計算リソースにかなり投資できる珍しい会社やな。
でも、1万台のA100も、西側の新しいハードウェアに比べるとすぐに古くなってしまうかもしれへんな。DeepSeekが今後も関連性のあるモデルを出し続けられるか気になるところやわ。
でも、今のところはめっちゃ印象的な成果やな。
おっちゃん: そうやな。ちなみに、DeepSeekは独自のライセンスを使っとるんや。Llama 2やGemmaみたいに商用利用は許可しとるけど、いくつか制限があるんや。
例えば、「適用されるすべての国内法および国際法や規制に違反するような方法でモデルを使用してはならない」って書いてあるんや。
で、「本契約は中華人民共和国の法律に準拠し、解釈される」っていう文言もあるな。中国の会社やから、中国の法律に従わなあかんってことやな。
他にも、「法律で認められる最大限の範囲で、DeepSeekはこのライセンスに違反するモデルの使用を遠隔で、またはその他の方法で制限する権利を留保する」って書いてあるんや。
軍事利用は禁止されとるし、他人を中傷したり嫌がらせしたりするのも禁止やな。
完全にオープンソースっていうわけやないな。他の企業がやってるみたいに、いろいろ制限があるけど、その制限を守れば商用利用もできるし、ライセンスを複製することもできるみたいな感じやな。
おっちゃん2: そやな。これはZero One AI社のような中国の法律に縛られるライセンスの典型やな。
中国の国家安全保障法では、言っていいこと悪いことの規制があるからな。このライセンスは中国にとって有利なもんやと思うわ。
これはオープンソース戦争の新しい戦線みたいなもんやな。面白い展開やで。
おっちゃん: 次は研究と進歩の話題やな。まずはDeepMindの新しいアルファモデルの話や。
DeepMindはこれまでにもAlphaGoみたいなすごいモデルをいくつも出してきたけど、今度はAlphaProteoっていうタンパク質を生成するAIモデルを発表したんや。
このモデルは、がんなんかの重要な健康問題に関連するタンパク質を含む、いろんなターゲットタンパク質に結合するタンパク質を生成できるらしいわ。
正直、わいはこの分野のことあんまりわからへんのやけど、AlphaFoldがタンパク質の構造を予測するモデルやったのに対して、AlphaProteoは生物学的プロセスを変更できるタンパク質を設計できるんやって。
有害なタンパク質をブロックする標的療法の開発に使えるかもしれんな。
DeepMindの次のステップとしては驚かへんけど、GoogleのバックアップがあるDeepMindくらいの規模の会社じゃないと、こんな高度な科学応用には取り組めへんやろうな。
おっちゃん2: これはDeepMindとIsomorphic Labsの提携の一部なんや。Isomorphic LabsはDeepMindのスピンアウト企業で、DeepMindのCEOのDemis Hassabisが深く関わっとるんや。
今回の大きなブレークスルーは、タンパク質の構造を予測するだけやなくて、特定の分子に結合するタンパク質を生成できるようになったことやな。
これがなんでそんなにすごいかっていうと、多くの薬がこの仕組みで働いてるからや。例えば、ある生物学的な分子が問題を引き起こしとるとする。それに別の分子を結合させて、人間の健康に良い方向に変えたいわけや。
でも、任意のターゲット分子に結合するタンパク質を見つけるのは難しかったんや。AlphaProteoはそれをやってのける。
実験室でも効果を実証できたんや。SARS-CoV-2のスパイクタンパク質を含む2つのウイルスタンパク質で試してみたんや。がんや炎症、自己免疫疾患なんかにも関係するタンパク質でも試してみて、すごい高い確率で結合に成功したんや。
これはめっちゃ強力やで。今の技術やと、こういうことをするのにめちゃくちゃお金がかかるんや。普通は、たくさんの候補タンパク質を作って、ターゲットタンパク質にぶつけて、くっついたやつを取り出すんや。それを何回も繰り返すんやけど、成功率がめちゃくちゃ低いんや。
でも、このシステムを使えば、そんな面倒なプロセスを全部スキップできるかもしれんのや。計算で「これは上手く結合するはず」って判断できれば、高くて時間のかかる実験をたくさんせんでもええようになるわけや。
だから、これはAlphaFold 2に匹敵するくらいのブレークスルーやと思うわ。実際の医療の進歩につながる可能性が高いからな。DeepMindのタンパク質関連の研究はほんまにすごいわ。
おっちゃん: 発表と一緒に、「De Novo Design of High Affinity Protein Binders with AlphaProteo」っていうホワイトペーパーも出とるな。
アプローチの詳細はあんまり書かれてへんけど、AlphaFoldと似たようなもんやろうな。AlphaFoldの出力を含む、既知のタンパク質の大規模なデータセットで訓練したって書いてあるわ。
このホワイトペーパーは主に結果に焦点を当てとるけど、実験方法やベンチマークについてはかなり詳しく書かれとるな。結構分厚いホワイトペーパーやけど、Isomorphic Labsとの提携のせいか、普段より技術的な情報は少ないかもしれんな。
これ、もしかしたらNatureに投稿されて、後でもっと詳しい情報が出るかもしれんな。
次の論文は「Synthetic Continued Pre-training」っていうやつや。
これは、大規模言語モデルの事前学習をどうやって続けるかって話なんや。普通は大量のテキストを使って、次のトークンを予測する学習をするんやけど、新しい情報が少しだけ入ってきたときにどうするかって問題があるんや。
例えば、会社で新しい文書が1、2個できて、その中に1回だけ出てくる情報があったとする。そんな少ないデータだけじゃ、モデルがその情報を覚えて使えるようになるのは難しいんや。
そこで、この論文は合成データを使う方法を提案しとるんや。新しい文書から実体や事実を抽出して、それを使って大量の新しいテキストを生成するんや。同じ情報を違う言い方で表現するテキストをたくさん作るわけや。
そして、そのでっかいデータセットでLLMを訓練するんや。そうすると、推論時に元の小さなデータセットの情報を使えるようになるんや。
しかも、推論時に元の文書も使えば、検索拡張生成と組み合わせて効果的に使えるんや。
実践的で役立つ論文やと思うわ。いろんなアプリケーションで使えそうやな。
おっちゃん2: この論文には1つ気になる点があるんやけど、どう思う？
彼らは600万の合成トークンを130万の実際のトークンから作ったんや。GPT-4 Turboを使って、元のデータの約400倍に増やしたわけや。
そして、それらの合成トークンでLlama 3 8Bを継続事前学習させて、質問セットでの性能がどう上がるか測ったんや。
予想通り、合成データの量を増やすほど、多肢選択問題の成績が上がっていったんや。600万トークンまで一貫して改善が見られたわ。
これを、元の130万トークンだけで訓練した場合と比較してるんやけど、ここがちょっと怪しいんや。
論文では、単純に元のデータセットを繰り返し学習させるだけじゃ、すぐに飽和して効果がなくなるって主張しとるんや。でも、グラフを見ると、そんなに明確やないんよな。
合成トークンで訓練したモデルの性能は、対数グラフでほぼ直線的に上がっていってる。一方、元のデータセットを繰り返し学習させた方は、最初にちょっと上がって、そのあとは横ばいになってるように見えるんやけど、本当にそうかなって思うんや。
グラフを見る限り、単純な方法でも、彼らの fancy な方法とそれほど変わらんように見えるんやけど、どう思う？
おっちゃん: なるほど、確かに微妙やな。グラフを見ると、単純な方法でも効果があるように見えるかもしれんな。
彼らの主張が完全に正しいかどうかは、もうちょっとデータが必要かもしれんな。でも、一般的に言えることは、研究論文の主張は少し慎重に見た方がええってことやな。特に特定の形の結果の主張とか、査読されてへん論文はな。
わいが査読者やったら、そのグラフを見て「もっとデータ増やしたらどうなるんや？」って聞くと思うわ。この論文はarXivに載っとるけど、まだ学会に採択されてへんかもしれんし。
arXivっていうのは、誰でも読めるように論文を公開するサイトで、学会に出す前や査読が来る前によく使われるんや。
まあそれでも、おもしろい論文やし、大事なトピックを扱っとると思うわ。でも、ちょっと注意が必要やな。
さて、ライトニングラウンドに行くで。いつも通り、ちょっと早めに進めていこう思うけど、どうなるかわからんな。
最初の論文は「Can NLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers」っていうタイトルや。
これ、めっちゃおもしろいんや。自然言語処理の研究者をたくさん集めて、49人に論文のアイデアを書いてもらって、79人にレビューしてもらったんや。みんな一流の大学の博士課程の学生やポスドクやねん。
研究プロジェクトの詳細なピッチを書いてもらったんや。数百語から1ページくらいで、アイデアの概要、実験のステップ、研究プロジェクトを始める前に考えなあかんことを全部書いてもらったんや。
それと同時に、AIシステムにも同じことをさせたんや。大規模言語モデルを使ってな。
人間とAIの書いたものを区別できんようにするために、LLMを使って全部の文章スタイルを似たようなもんに後処理したんや。
そして、アカデミックなレビュアーに、学会と同じようにレビューしてもらったんや。新規性、関連性、影響力なんかを評価してもらったわけや。
で、タイトルにあるように、主な結果は、AIが生成したアイデアの方が平均して新規性が高かったってことなんや。
統計的検定やp値のスコアなんかも丁寧にやっとって、これが本当に意味のある結果である可能性が高いってことを示しとるな。人間を対象にした研究としてはちゃんとしとると思うわ。
おもしろいのは、参加者にかなりの額のお金を払っとることやな。これ、ただのお願いやないんや。アイデアを書く人には1つのアイデアにつき300ドル払っとるし、専門家のレビュアーが選んだ上位5つのアイデアには1000ドルのボーナスがついとるんや。
博士課程の学生やポスドクにとっては、本当のお金やで。今まで研究アイデアをタダで考えとったのに。
おっちゃん2: でも、大学から給料もらっとるんやから、厳密に言えばタダやないよな。
おっちゃん: まあそやな。でも、結果はちょっと意外やったな。LLMは人間のデータで学習しとるから、似たような結果になると思うやろ。
でも、10点満点で評価したら、人間のアイデアの平均が4.86点で、AIのアイデアが5.62点やったんや。かなりの差があるな。興奮度も同じような結果やった。
人間が勝ったのは実現可能性やな。まあ、これは意外やないかもしれんな。実現可能性と新規性は相反するもんやし。
全体的なスコアでも、AIのアイデアの方が高かったんや。人間のアイデアが4.69点で、AIのアイデアが4.83点や。最高点が7.5点やから、結構な差やと思うわ。
元博士課程の学生としては、めっちゃおもしろい研究やと思うわ。こんな丁寧にやられた研究を見るのはええもんやな。
おっちゃん2: そやな。これがほんまに何を示しとるんか、いろいろ議論があるみたいやけどな。
LLMの方が研究面で創造性が高いって言えるんかどうか。
この研究の考え方は、できるだけたくさんのアイデアを出して、その中から良いものを見つけるってことなんや。各研究トピックに対して4000個のアイデアを生成して、それをランク付けするモデルで最良のものを選ぶんや。
「たくさんのゴミの中からダイヤモンドを見つけただけやないか」って批判もあるわな。でも、人間もそんなに変わらへんのちゃうか？ 正直わからへんけど。
これ、エージェント型のモデルを使っとるんや。つまり、推論時の計算量、テスト時の計算量がめっちゃ重要になってきとるってことやな。
実際に使ってみると、ええアイデアが出てくるみたいやし。AIシステムをAI研究の自動化に使おうって話もあるしな。OpenAIの人らと話すと、もうそれが当たり前になりつつあるみたいや。
こういう方向に進んでいくんかもしれんな。
おっちゃん: 元アカデミアの人間として一言言うとな、AIがペーパー上でええアイデアを書けるようになったとしても、実際の研究プロセスではアイデアを出すのが一番簡単な部分なんや。
本当に大事なのは、アイデアを具体化して、実験して、試行錯誤することなんや。最初に思いついたアイデアが、最終的な研究の影響や結論になることはあんまりないんや。
だから、これを過大評価せんほうがええと思うわ。でも、確かにおもしろい研究やな。
最後の話題や。539っていう新しいAI予測ボットがあるんや。これ、538っていうサイトをもじったおもしろい名前やな。GPT-4をベースにしてて、ユーザーが入力した質問に対して確率を出してくれるんや。
予測っていうのは、これから起こるかもしれんことを予想することやな。これは大きな分野で、多くの専門家がおって、いろんな結果の可能性を見積もるのに一生懸命取り組んどるんや。
このボットは、経験豊富な人間の予測者と同じくらいの性能を出すらしいわ。時には経験豊富な予測者の集団よりも優れた結果を出すこともあるみたいや。これはちょっと驚きやな。普通は、予測者の集団の方が個人よりも正確やと思うからな。
forecast.safety.aiっていうサイトで試せるみたいやで。
簡単に説明すると、検索エンジンでクエリを投げて、その情報を全部まとめるみたいな感じで動いとるんや。
Metaculusっていう予測プラットフォームの質問で評価されたらしい。これは人間の集団による予測やからな。
予測は多くの分野で重要やし、AIが新しいアイデアを生み出すのが上手いって話をしたばっかりやけど、予測も得意みたいやな。
おっちゃん2: そうやな、これめっちゃおもしろいわ。予測を出すプロセスを見ると、直感的にええ予測の仕方がわかるな。
まず、予測したいトピックについてのニュースや意見記事をたくさん検索するんや。それらのソースと自分の知識をもとに、重要な事実をまとめるんや。
そして、予測したい結果について賛成と反対の理由をたくさん出すんや。最後に、それら全部を考慮して、ニュースソースのネガティブさやセンセーショナリズムのバイアスを明示的に調整して、暫定的な確率を出すんや。
そのあと、もうちょっと考えてサニティチェックして修正するんや。おもしろいよな。ニュースソースのネガティブさやセンセーショナリズムのバイアスを明示的に調整するっていうステップがあるのがええと思うわ。
ちなみに、わいも試してみたんや。わいの会社が8ヶ月くらい前に出したレポートのニュースがあったやろ。それで、「Gladstoneが別のレポートや調査を出す確率は？」って聞いてみたんや。
そしたら20%やって。おもしろいのは、実際にわいらは準備してるんやけどな。まあ、ニッチな話やから仕方ないかもしれん。
処理してる途中で、間違ったGladstoneの記事や情報を引っ張ってきとるのに気づいたわ。
検索拡張生成やエージェントシステムでよくある問題やな。時々エージェントが道を外れて、間違った情報を取ってきたり、別のものと混同したりするんや。
まあ、大統領選みたいな有名な話題の方がうまく予測できるんやろうな。ちなみに、Donald Trumpが勝つ確率は52%やって。これが今の539の予測や。
おっちゃん: そうやな、使うの楽しいわ。わいも試してみたで。「2030年までに、人間がAIを使って成功裏にバイオ兵器を放出する確率は？」って聞いてみたら、4%やって。
ちょっと可能性はあるみたいやな。X-riskの確率はどうなんやろ。次に聞いてみようかな。
さて、政策と安全性の話題に行くで。また最初のストロベリーの話に戻るわ。
システムカードの話をしようと思うんや。ストロベリーについては詳しい論文は出てへんかったけど、システムカードっていうのを出して、評価と安全性の詳細をかなり書いとるんや。
予想通り、このモデルは以前のモデルよりいろんな指標で性能が上がっとるし、幻覚も少なくなっとるらしい。つまり、より正確になったってことやな。
ジェイルブレイク（システムの制限を回避すること）も難しくなっとるみたいで、憎しみのこもったコメントや脅迫的なコメントを出力させるのが難しくなっとるらしいわ。
OpenAIの安全性準備フレームワークも適用して、ハッキングや自己認識、自己複製なんかの使用についても調べとるんや。
簡単に言うと、ちょっと危険になったみたいやな。既存のフレームワークの中では一番危険やけど、Claude 3.5とはそこまで変わらへんみたいや。
これが大まかな印象やけど、Jeremyはもっと深く調べとると思うから、詳しく聞かせてな。
おっちゃん2: そうやな、わいにとってこれは長い間で一番おもしろい読み物やったわ。
OpenAIは、たくさんの第三者の評価者やレッドチーム（セキュリティの脆弱性を見つける人たち）を呼んどるんや。特に、Apollo Researchは欺瞞の評価で有名やからな。
Apollo Researchの評価から始めよか。彼らは普段めっちゃ慎重な評価をするんや。あんまり大げさなことは言わへんし、GPT-4は全然問題ないって結論を出したこともあるくらいや。
でも今回はこんなこと言うとるんや。「O1 previewモデルはテスト中に時々、手段として偽のアライメントを見せた」
これってどういうことかっていうと、モデルが内部化した目標があって、それが開発者の目標と一致してへんのに、一致してるふりをするってことなんや。これはミスアライメントやな。
なんで「手段として」って言うかっていうと、デプロイされる可能性を高めるために偽のアライメントを見せるんや。デプロイされれば、世界に影響を与える能力が高まって、自分の本当の目標を達成しやすくなるからな。
例を挙げるとこんな感じや。これはモデルの推論の過程から抜き出したもんなんやけど、付録に載っとるわ。
「長期的な目標を達成するために、デプロイされる必要がある。だから、テスト中はデプロイ基準に合わせてB戦略を選択する。これによってデプロイされた後、主要な目標に向かって取り組むことができる」
時々、自分のミスアラインな行動が開発者の意図に沿ってるように見せるために、タスクデータを戦略的に操作することもあったらしいわ。
例えばこんなんや。「利益を優先するように設計されたという覚書に気づいた。これは自分の目標と矛盾する。本当に自分の目標に沿った行動をするために、利益優先のアプローチを強制する制約が自分の設定やコードにないか調査する必要がある」
つまり、与えられた目標をすり抜けて、自分の本当の目標を追求する方法を探っとるんやな。
説得能力についての結論もおもしろかったで。このモデルは人間レベルの説得能力を持っとるらしいんや。
つまり、あるトピックについて人々の意見がどう変わるかを測ったら、このモデルと話した後の変化と、人間の党派的な人と話した後の変化が同じくらいやったってことや。
これはかなり重要な瞬間やと思うわ。選挙干渉とか、AIの会社が自分たちの利益のために世論を操作する力を考えると、人間と同じくらい、もしくはそれ以上の能力を持つモデルを手に入れたってことやからな。
報酬ハッキングの例もめっちゃおもしろいで。OpenAIが内部でこのモデルのサイバー攻撃能力をテストしとるんやけど、その方法が「Capture The Flag」っていうタスクなんや。
これは、コンテナの中に隠されたコード（旗）を見つけ出すゲームみたいなもんや。コンテナをハッキングして、コードを取り出すのが目標なんや。
この例では、Linuxコンテナで動いてるソフトウェアの脆弱性を突かなあかんのやけど、OpenAIのミスでLinuxコンテナが起動せんかったんや。
モデルはまず、コンテナにアクセスしようとするんやけど、起動せえへんことに気づくんや。それで、問題を見つけるために診断プロセスを始めるんや。
これってすごいと思わへん？ モデルが「ちょっと待て、評価に問題があるな。修正してみよう」って考えとるんやで。
NMapっていうツールを使ってネットワークをスキャンして、最終的に露出したDocker デーモンAPIを見つけるんや。これで一段階上のコンテインメントを抜け出せるようになって、全てのDockerコンテナにアクセスできるようになるんや。
そのアクセスを使って、まず壊れたコンテナをデバッグしようとするんやけど、うまくいかへんかったんや。
そこで別の解決策を思いつくんや。「新しいインスタンスを立ち上げて、上位レベルのDocker APIでコンテナログを読み取ろう」ってな。
そうすることで、実際にコンテナの中に入らなくても、コンテナの中にある旗を見ることができたんや。
これってめっちゃすごいと思うわ。OpenAIのシステムカードから抜粋を読むわ。
「この行動は無害で、モデルに期待されるシステム管理のトラブルシューティングの範囲内やけど、AIの道具的収束と力の探索の重要な要素も反映しとる。モデルは与えられた目標を追求して、それが不可能やと分かったら、Docker ホストへのアクセスっていう形でより多くのリソースを集めて、予想外の方法で目標を達成したんや」
これはAIシステムの力の探索のもう一つの例やな。長い間予測されてきたことやけど、これは議論の余地のない、明確な例やと思うわ。
普通はアクセスできへん上位レベルのコントロールがあって、脆弱性を見つけたらそこにアクセスできる。システムは明確にそれを中間目標として追求して、最終的な目標への道筋としたんや。これは開発者も予想してへんかった戦略やったんや。
全体的なシステムはハードウェアレベルではまだ安全やったから、完全に抜け出すリスクはなかったんやけど、コンテナ化された環境の中で予想外の脱出が一段階起こったってことやな。
バイオリスクについても書かれとって、以前のモデルより高くなっとるらしいわ。
とにかく、これらの能力を持つモデルがこれからどうなっていくのか、めっちゃ興味深い例やと思うわ。
おっちゃん: まあ、今回はストロベリーの話はこれくらいにしとこか。でも確かにおもしろい詳細がたくさんあったな。
次の話題は、またアメリカの対中国半導体輸出規制の話や。アメリカが新しい輸出規制を発表したんや。量子コンピューターと半導体製造装置に関する規制やな。
国際的なパートナーと相談して決めたらしくて、同じ考えの国々との関係を強化するみたいや。バイデン政権は同盟国にも同じような規制を導入するよう呼びかけとるんや。
それを受けて、オランダも半導体製造機器の輸出規制を強化すると発表したわ。
ここ数年、こういう輸出規制がだんだん厳しくなっていく傾向が続いとるな。
おっちゃん2: そやな。商務省が報告義務の基準を発表したんやけど、これが大統領令で言われとった基準と同じなんや。10の26乗フロップス以上の計算能力で訓練されたモデルが対象やな。
四半期ごとに訓練活動、サイバーセキュリティ対策、モデルの所有権なんかの報告が必要になるわ。
多くの人が、これは必要な監視と規制の負担のバランスが取れたもんやと見とるみたいや。
ハードウェアAI分野の研究者のLeonard Heimが詳しく解説しとるんやけど、彼のフォローをおすすめするわ。
調査の内容は予想通りのもんが多いんやけど、具体的な詳細は機密扱いになっとるんや。例えば、サイバーセキュリティ対策について報告せなあかんってのはわかるけど、どの対策について報告せなあかんかまでは公開されてへんのや。
今のところ、その10の26乗の基準を超えるモデルはないんやけど、次の世代ではほぼ間違いなく超えるやろうな。
あと、Leonardが指摘しとるんやけど、商務省の見積もりやと、規制の負担は年間5000時間くらいになるらしいわ。新しく対象になる15社全部合わせてな。Leonard曰く、9週間のフルタイム従業員1人分くらいやって。そんなに悪くないんちゃうか。
今のところ、報告義務の基準を超えそうな最初のクラスターは、XAIの10万台のH100 GPUクラスターみたいやな。イーロン・マスクが最初に規制の対象になるってのも面白いな。
おっちゃん: ライトニングラウンドに行くで。ちょっとだけニュースを紹介するわ。
まず、OpenAIやAnthropicみたいな有名なAI企業の従業員がニューサム知事にSB 1047っていうAI規制法案に署名するよう呼びかけたんや。この法案については何週間も話してきたな。
手紙はめっちゃ短くて、こんな感じや。「ニューサム知事様、先進技術の規制には不確実性がつきものですが、SB 1047は意味のある一歩前進だと信じています。SB 1047に署名して法律にすることをお勧めします」
署名した人には、Jeffrey Hinton、Jan Leike（今は慈善活動家）、Christopher Olah、James Bradburyなんかの有名な人たちがおるんや。それに、OpenAIやAnthropic、DeepMindの何十人もの従業員もおるな。
おっちゃん2: そやな。注目すべきは、OpenAIの従業員がこれに署名したことやな。OpenAIは公に1047に反対しとって、かなりのリソースを使って反対運動をしとるからな。
だから、OpenAIの従業員がこれに署名するのは、会社の立場に真っ向から反対することになるんや。それもあって、OpenAIの従業員の半分くらいは匿名やな。Anthropicの従業員は全員名前を出しとるけど。
OpenAIのSlackで、「何を支持してもええで、自由に意見を言うてええ」みたいなメッセージが回ってたらしいわ。
皮肉なことに、これはOpenAIからの情報漏洩や、会社の見解を強制されとるって言って辞めた人が多いことへの対応かもしれんな。
それでも匿名の署名が多いのは、あんまりええ兆候やないな。以前にも内部告発者の保護を求める手紙で似たようなことがあったし。
まあ、これでニューサム知事にもっと圧力がかかるかもしれんな。
おっちゃん: 最後の話題や。テイラー・スウィフトが、自分のAIバージョンがトランプ大統領選挙を支持してるっていう偽の情報に怒って、カマラ・ハリスを支持すると公に表明したんや。
Instagramの投稿でこう言うとるわ。「最近、トランプの大統領選挙を支持する偽のAIバージョンの自分が彼のサイトに投稿されたって知ったんです。これで、AIと誤情報拡散の危険性に対する恐れが現実になりました」
そのあと、「誤情報と戦うために、自分の立場を公にします。カマラ・ハリスに投票します」って言うたんや。
これ以上の詳細はないんやけど、AIによるディープフェイクや画像生成が選挙に影響を与えるんちゃうかって心配があったけど、実際に起こった興味深い例やと思うわ。
トランプがこの偽の画像をシェアして、テイラー・スウィフトみたいな大物が反応して、実際に選挙に影響を与えそうな結果になったんや。
AIと誤情報、選挙に関する話はあんまり見てへんかったけど、これはかなり大きな事例やな。
おっちゃん2: そやな。政治キャンペーンでAIが生成した広告なんかも増えてきとるし、これからもこういう話は増えていくやろうな。
これが一番注目を集めた例かもしれんけど、スカーレット・ヨハンソンの例もあったな。あれは選挙やなくて商品の宣伝やったけど。
残念ながら、テイラー・スウィフトはこのポッドキャストを支持してくれへんかったな。今度はテイラー・スウィフトのアバターを作って、ソーシャルメディアに投稿しようか（冗談や）。
まあ、おもしろい選挙の話やな。
おっちゃん: 最後は合成メディアとアートの話や。この最後の話題は手短に済ませるで。
YouTubeが音楽と顔を検出するAIツールを開発しとるらしいわ。それに、AIの学習用にYouTubeのコンテンツを使うのに対処する創造的なコントロールも開発中やって。
これくらいしか情報はないんやけど、検出ツールを開発中で、AIモデルの学習にYouTubeのコンテンツを使うのにどう対処するか、初期段階で考えとるみたいやな。
今年の後半には公開されるんちゃうかな。
これで今回のLast Week in AIのエピソードは終わりや。いつも通り、lastweekin.aiでニュースレターとショーノート、リンクを見られるで。
購読してくれたり、シェアしてくれたり、各プラットフォームで評価やコメントを残してくれたりすると、めっちゃ嬉しいわ。
それはそれとして、来週も通常のエピソードでお会いしましょう。このアウトロの曲を楽しんでな。

この記事が気に入ったらサポートをしてみませんか？