OpenAI創立メンバーがバークレー校ハッカソンで語った事
下記のスマホで撮影して横を向いてて大変見づらい動画ですが、内容がとても興味深いので全文の翻訳および、言葉の解説をしていこうと思います。
まず、2024年のUC Berkeley AI Hackathon Awardsでは、Andrej Karpathyさんが審査員として参加し、イベントの締めくくりとして基調講演を行いました。これはそれを録画した物です。
Andrej Karpathy氏基調講演
スピーチを内容ごとに区切って注釈をつけていきます。
OpenAI設立の経緯
7年前のことを話しましょう。これは、その当時の写真です。グレッグの部署で働いていた8人の様子です。OpenAIはGoogleに対抗するために設立されました。当時、Googleは700億ドルの自由キャッシュフローを持つ巨大企業で、AI研究の業界のほぼ半数を雇用していました。私たちは8人でノートパソコンを持っているだけでしたが、とても興味深い状況でした。私のバックグラウンドと非常に似ていました。
OpenAIはGoogleに対抗するために設立されました。この背景にはいくつかの理由があります。
AI研究の独占を防ぐため: GoogleはAI研究において非常に強力な存在であり、多くのリソースと専門知識を持っていました。GoogleがAIの進展を独占することで、技術の発展やその利用が一企業の利益に偏るリスクがありました。
公益のためのAI開発: OpenAIは非営利団体として設立され、AI技術がすべての人々の利益になるように開発されることを目指しました。これは、AIが公正で透明性のある形で発展し、広く社会に利益をもたらすことを意図しています。
多様な研究と競争の促進: AI研究において複数のプレイヤーが存在することで、健全な競争が生まれ、技術の進歩が促進されると考えられました。Googleに対抗する形でOpenAIが存在することで、より多様なアプローチやアイデアがAI研究に取り入れられることを期待しています。
Reddit用チャットボットから始まったChatGPT
7年前のことを話しましょう。これは、その当時の写真です。グレッグの部署で働いていた8人の様子です。OpenAIはGoogleに対抗するために設立されました。当時、Googleは700億ドルの自由キャッシュフローを持つ巨大企業で、AI研究の業界のほぼ半数を雇用していました。私たちは8人でノートパソコンを持っているだけでしたが、とても興味深い状況でした。私のバックグラウンドと非常に似ていました。
これらの小さなプロジェクトはとても脆弱なので、簡単に無視されがちです。しかし、このRedditチャットボットは、実は言語モデルであり、Reddit以外の任意のデータでトレーニングすることができます。そして、Transformerが登場すると、より良いものになり、ドメインがRedditだけでなく、多くのウェブページに拡大されました。これにより、GPT-1、GPT-2、GPT-3、GPT-4が誕生し、最終的にGPT-40に至りました。
Redditチャットボットは、初期のOpenAIの実験的なプロジェクトの一つでした。これは主にRedditのスレッドデータを使用してトレーニングされた言語モデルでした。このチャットボットは、ユーザーとの自然な会話をシミュレートすることを目的としていました。
Redditチャットボットのプロジェクトは、OpenAIが設立された2015年から2017年頃の初期段階で実装されていたと考えられます。この期間は、OpenAIが様々な実験的なプロジェクトに取り組んでいた時期です。
小さなチャットボットが評価額1000億ドルの企業になった
このような小さなプロジェクトが大きな成果に繋がるのを見るのは本当に素晴らしいことです。現在のOpenAIの評価は1000億ドル前後です。
皆さんが過去2日間で取り組んだ小さなプロジェクトも、いくつかは成功するかもしれません。プロジェクトの勢いを続けるべきです。次に話したいのは、マルコム・グラッドウェルが提唱した「1万時間の法則」です。私はこの考えに大いに賛同しており、成功は繰り返しの練習とその積み重ねから生まれると思います。1万時間を惜しまずに投入し、その時間を数え続けることが大切です。
成功しているのか失敗しているのかを気にしすぎず、単純に何時間取り組んでいるかを数えるだけでいいです。失敗したプロジェクトや成果に繋がらなかったプロジェクトも、すべてが自分の専門知識を深め、自信を持ってプロジェクトに取り組む力を養うための時間として加算されます。例えば、私は数週間前に本当に簡単なウェブサイトを作りました。これは週末のプロジェクトで「awesome movieslife」と呼ばれています。まだ動いているかはわかりませんが、映画の推薦エンジンを作ろうと思い立ち、土曜日に何を見ようか考えていた時にこれを立ち上げました。
「1万時間の法則」は、マルコム・グラッドウェルが彼の著書『アウトライアーズ』で提唱した概念です。この法則は、ある分野で一流になるためには、約1万時間の練習や訓練が必要であるというものです。グラッドウェルは、この法則を説明するために、ビートルズやビル・ゲイツなどの成功者の例を挙げています。1万時間の法則の概要は以下のとおりです。
基礎: グラッドウェルは、成功は単なる才能や運だけでなく、膨大な練習時間によって達成されると述べています。1万時間の練習が一つの分野で卓越するための基準であると主張しています 。
ビートルズの例: ビートルズは、成功する前にハンブルクのクラブで膨大なライブパフォーマンスを行い、1万時間以上の演奏経験を積んでいたとされています 。
ビル・ゲイツの例: マイクロソフトの創業者ビル・ゲイツも、若い頃からコンピュータープログラミングに多くの時間を費やし、1万時間以上の経験を積んでいたことが成功の一因とされています 。
テスラのオートパイロット開発
次の例は、私の人生で言えば、テスラのオートパイロットです。7〜8年前にテスラのコンピュータビジョンチームに雇われた時のことです。チームに参加した最初の数ヶ月間で、コンピュータビジョンのディープラーニングネットワークのトレーニングコードベースをPyTorchで一から書き直しました。その結果、現在のシステムの核となる部分ができました。当時、それは一部の人々にとっては印象的だったかもしれませんが、私にとってはそうではありませんでした。なぜなら、博士号の研究で5年間同様のことをしてきたからです。必要なものはすべてわかっていて、トレーニングセット、評価セット、トレーニングループ、設定、ログディレクトリ、リセット、検出、回帰、分類をすべて組み込む必要がありました。
テスラのオートパイロット（Autopilot）は、運転支援システムであり、運転者の負担を軽減し、運転の安全性を向上させることを目的としています。このシステムは、自動車の制御を部分的に自動化する技術を提供します。主な機能は以下の通りです。
アダプティブクルーズコントロール:
前方の車両との距離を保ちながら、自動的に速度を調整します。これにより、長距離運転時の疲労を軽減します。
オートステアリング:
車線内を維持し、カーブや直線道路で車両を自動的に制御します。この機能は、ハンドルを持つ必要があるものの、運転者の操作を支援します。
自動車線変更:
ターンシグナルを操作するだけで、自動的に安全なタイミングで車線変更を行います。これにより、運転の負担が軽減されます。
自動駐車:
駐車スペースを検出し、自動的に駐車を行います。縦列駐車やバック駐車に対応しています。
サモン機能:
駐車場内でスマートフォンを使って車を呼び寄せることができます。車が自動で駐車スペースから出てきて、指定された場所まで移動します。
テスラのオートパイロットの技術的な仕組みは、以下の技術を駆使して動作します。
カメラ: 周囲の状況を視覚的に捉えるために、複数のカメラが車両に搭載されています。
レーダー: 前方の障害物を検知し、距離や速度を測定します。
超音波センサー: 近距離の障害物を検知し、駐車時の安全性を確保します。
ニューラルネットワーク: 膨大なデータを処理し、車両の制御に関する高度な判断を行います。
利用上の注意点としては、オートパイロットは運転支援システムであり、完全な自動運転ではありません。運転者は常にハンドルを握り、道路状況を監視し続ける必要があります。また、システムの限界を理解し、適切に使用することが重要です。
経験則がすべてのステップを予測する
すべてのステップを予測することができるのは、経験からくるものです。20回やったことがあるからこそ可能になるのです。これが大きな違いを生み出し、20回やったことがあることは、他人にとって印象的なことでも、自分にとってはそれほど印象的ではなくなります。だからこそ、1万時間に達するまで頑張ることが重要です。1日6時間取り組むと約5年かかります。これはちょうど博士号を取得する期間と同じくらいです。
ジェネレーティブAIがコードを書く支援をしてくれることは、開発効率を大幅に向上させます。しかし、プログラマ自身のスキル向上も怠らないことが重要です。とくに複雑なシステムを開発するには、基本的なアルゴリズムやデータ構造の理解が不可欠です。これらの知識は、実際の問題解決に応用できるため、深く理解しておく必要があります。
ジェネレーティブAIにコーディングを任せることで多くの作業が効率化されますが、プロジェクト全体に関与し、創造的かつ柔軟に問題を解決する能力を持つためには、基礎的なプログラミング知識と継続的な学習が不可欠です。AIを補完的なツールとして利用しながら、自らのスキルを磨き続けることが重要です。
プロジェクトを公開する事が大事
また、プロジェクトを公開することも非常に効果的です。理由は、他の人々が見ることを意識するからです。友人、チームメイト、家族、将来の雇用者などが見ることを考えると、自分の仕事の基準が高くなり、より一生懸命に取り組むようになります。他の人々がプロジェクトを見て評価してくれると、脳は報酬を感じ良い気分になります。これにより、1万時間の経験を積み上げ、小さなプロジェクトが大きなものに成長し、世界を変えることができるのです。
プロジェクトを進める上で、他人からのフィードバックや評価は非常に重要な要素となります。正のフィードバックは、達成感やモチベーションを高め、継続的な努力を促す要因となります。しかし、逆に否定的なコメントやアンチの反応が多い場合、その影響も大きいです。
ネガティブフィードバックに負けずにプロジェクトを成功させるには、ポジティブな自己対話や過去の成功体験を活用し、自己肯定感を強化することが重要です。デジタルデトックスは、一定期間デジタルデバイスやソーシャルメディアから離れることで、精神的および身体的な健康に様々な効果があるとされています。時にはSNSから離れる事も開発を進めるために必要かもしれません。
Andrej Karpathy氏の現在
テスラのあと一旦OpenAIに戻ったAndrej Karpathy氏は最近、個人的なプロジェクトに取り組むためにOpenAIを去りました。彼の退職は友好的なものであり、OpenAIの内部紛争や特定の出来事によるものではないことを強調しました。Karpathy氏は、個人的な研究開発に集中したいと述べ、将来的に革新的なプロジェクトが生まれる可能性を示唆しました。