サム・アルトマンの歴史〈4〉 |深層学習の研究開発をする：「大規模化すればするほど良くなるはずだ！」
このシリーズでは、2024年11月8日にY CombinatorのYouTubeチャンネルより公開されたサム・アルトマン氏のインタビュー動画を一部抜粋し、翻訳したものをご紹介します。
以下の会話は、正確な文字起こしではありません（生成AIの助けを借りています）。
ある程度の要約があり、厳密には発言内容と発言者が異なる部分もありますが、情報としては問題ないと判断して修正していない箇所もあります。正確な発言内容の引用は、元の動画を確認することを強くお勧めします。
ゲイリー・タン:
ディープラーニングの話ですが、もう一つの大きなアイデアとして「スケールする（訳註：大規模化する）ことで性能が向上するはずだ」というものがありました。
これも当時は異端的な考え方とされ、多くの批判を受けていましたよね。
サム・アルトマン:
はい、当時の核心的な信念の一つは「モデルはスケールすればするほど性能が良くなる」というものでした。
この考え方も当時はかなりラディカルなものでした。
我々はどれほど予測可能に改善されるのかまでは分かっていませんでしたが、それでも「モデルを大きくすればするほど良くなるはずだ」という確信がありました。
そして実際、数年後にはデータがその信念を裏付けることになりました。でも最初から、モデルを大きくすればパフォーマンスが向上するということには確信があったんです。
ゲイリー・タン:
しかし、当時は多くの専門家が「それは本当に学習しているわけではない」「推論をしているわけではない」といった批判をしていましたね。
サム・アルトマン:
そうですね。多くの分野のリーダーたちから、「ただのトリックだ」「その信念は間違っている」と言われました。
それどころか、彼らは
「そんな考え方は有害だ」
「そのような発言は無責任だ」
とまで批判してきました。
でも私たちは実際に成果を見ていて、それがどんどん良くなっているのを目の当たりにしていたんです。
理論的には納得できない部分もありましたが、結果を見ればそれが正しいと信じ続けるしかありませんでした。
ゲイリー・タン:
それはまさに新しい現象が現れた瞬間でしたね。
その時点では全てを理解していたわけではなかったけど、何か非常に根本的な変化が起こっているという確信があったんですね。
サム・アルトマン:
はい、まさにその通りです。
Paul Grahamが言ったように、私たちは「新しい元素を発見したようなもの」だと感じていました。だからこそ、その領域を深く掘り下げることに集中しようと決めました。
当時、私たちは他の大企業（DeepMindなど）と比べるとリソースが非常に限られていました。だからこそ、
「他がいろいろなことに挑戦している間、私たちは一つのことに集中して突き進もう」
と決断したんです。それが最善の戦略だったと今でも思っています。
ゲイリー・タン:
当時は、他の企業は多くの方向に手を広げていましたが、あなたたちは一つの方向に全力を注ぎましたね。
サム・アルトマン:
そうです。私たちは
「確実にうまくいくと分かっていることに集中する」
という戦略を取りました。
他の多くの企業がコンサルタントを使って新しい方向を模索していたのに対し、私たちは目の前にある一つの道に専念しました。
これはスタートアップや、今の大規模なAIモデルでも共通する成功の要因だと思います。多くの人は「少ないほうが良い（Less is More）」と考えたがりますが、私たちは「もっと、もっと、もっと（More is More）」が正解だと信じていました。
ゲイリー・タン:
オープンな場所で、しかも最高の才能を持つ研究者たちが全力で取り組める環境を作り出しましたね。特にコンピュータリソースの確保についても当時は非常に難しかったと聞きます。
サム・アルトマン:
そうですね。当時、業界のベテランたちからは「リソースを浪費している」と批判されました。「これが新たなAIの冬を引き起こす」とまで言われました。でも、私たちは「一つのことに対する極端なまでの確信」を持っていました。多くの企業はリソースを分散して複数のベットをしていましたが、私たちは一つの賭けにすべてを注ぎました。
ゲイリー・タン:
確かに、スタートアップでも同じことが言えますね。何度も見てきたパターンです。
サム・アルトマン:
はい、確かにそうです。スタートアップにおいても、全力で一つのことに集中するというアプローチが非常に効果的だということを何度も目の当たりにしました。
ここまで読んでいただき、ありがとうございました。
インタビューの内容はまだ続きますが、本シリーズでご紹介する内容はここまでです。
GPTが誕生する過程やその後、アルトマン氏の思想等について語られていますので、ご興味ある方はぜひ元動画をご覧になってください。
【宣伝コーナー】 PMF調査、承ります 💁♂️
まだ市場が存在しない新しいビジネスアイディアについて、プロダクト/マーケット・フィット調査（PMF調査）をサポートいたします。
スタートアップを始められた方、検討されている方、新規事業に取り組んでおられる会社担当者の方は、ぜひこちらよりお問合せください。
この記事が気に入ったらサポートをしてみませんか？