サム・アルトマン
最近出た本で、タイムラインに出て気になったので早速読んでみました〜！OpenAIのサム・アルトマンとその周りの人々について書かれている書籍です
投資計画は作ってない。投資家にソフトな約束をしている。AGIというスーパーAIを開発中ですが、いつの日かこのAGIが完成した暁には、我々はそれに投資リターンを稼ぎ出す方法を尋ねる
AI界のゴッドファーザー ジェフリー・ヒントン。1978年にニューラルネットの研究で博士号を取得した
AIという専門用語が生まれたのは、1956年に米ダートマス大学で開催された「ダートマス会議」
機械学習はディープラーニング(深層学習)」と呼ばれるようになった。「ニューラルネットを多層化して、パターン認識する情報の抽象度を上げる」つまり「より高度で深遠な情報処理を実現する」ことを「ディープ(深層)」と表現した
サムは自分を「スターウォーズのようなSFに夢中になっていたナーディ(オタク気質)な少年」と表現する。「コンピュータはいつの日か自分で考えるようになるだろう」と直感した
Yコンビネーターは約1万9000社のスタートアップ企業(の創業者)が応募して、そのうち合格したのはたった240社(人)だった
マスクは当時のプレスリリースで「OpenAI立ち上げの資金調達は総額で10億ドル(当時の為替で1200億円)」とぶち上げたが、OpenAIの公式ブログによれば実際マスクが出資したのは4500万ドル(164億円)程度
AGIの最初の概念を提唱したのは、数学者のI.J.Goodと見られる。機械があらゆる知的能力を超えるとき、それを「超人間知能(Superhuman Intelligence)」と定義した
OpenAIのチーフ・サイエンティスト、イリア・スツケヴァーによれば、「ディープラーニング(深層学習)に反する賭けはするな」噛み砕くと「ディープラーニングにできないことはない。その無限の能力を信じろ」
言語モデルとは、多層ニューラルネットに各種SNSや Wikipedia、電子書籍など大量のテキスト・データを読み込ませ、テキストの統計的パターンを学習させることで、ある単語の後に続く単語を確率的に予測させる技術
Googleの研究チームが「Attention Is All You Need」という画期的な論文を2017年の末に発表した。「トランスフォーマー」と呼ばれる新しい方式のニューラルネットが、これまで停滞していた言語モデルの研究に突破口をもたらした
トランスフォーマーの「Self Attention Mechanism(自己注意機構)」と呼ばれる仕組み。言語モデルが文脈を理解するための鍵となる単語に対して自動的に「注意(attention)」を向けることを可能にする技術
人間の脳のシナプスに該当するのは「パラメータ」と呼ばれる変数。トランスフォーマー方式の言語モデル(ニューラルネット)は、そのスケールを従来とは比べ物にならないほど大規模化したときに真価を発揮すると考えられた
GPT-3の機械学習にインターネットから収集したテキスト約4100億トークン、ウィキペディアのデータが約30億トークン、電子化された書籍データが約670億トークン、そして(オンライン・フォーラムの)レディット関連のデータが190億トークンの計4990億トークン
DALL-Eという呼称の由来は、シュールレアリスムの巨匠「サーバドール・ダリ(Salvador Dali)と2008年に公開されたユーモラスなロボットを主人公にしたハリウッド映画「WALL-E」をかけ合わせた造語
OpenAIの技術開発陣はGPT-4の完成までに、欠点を矯正する必要があった。主に「RLHF(Reinforcement Learning from Human Feedback : 人間のフィードバックによる強化学習)」と呼ばれる手法に頼ることになる
OpenAIの首脳陣が特に意識していたのは、2021年に開発方針の違いなどからOpenAIを離脱したダリオ・アモディらが設立したAIスタートアップ「アンソロピック」
緊急のチャットボット計画「Chat with GPT3.5」と呼ばれた。開発チームにたった2週間で開発するように命じた
「本命は今、開発中のGPT-4だ。しかし、いきなりGPT-4という強力な最新モデルをリリースするより、それより少し古くてインパクトのある小さいモデル(GPT-3.5)をチャットボットにして誰でも使えるようにする
2023年11月30日、OpenAIはChatGPTを一般公開したが、社員の大半はそれに関心を払っていなかった。中にはその日のリリースされたことを知らない者もいた
リーダーに課せられた最大の役目は、自分が率いるチームの自信を育むことだと思う。ナデラは語った
サム・アルトマンは、ロバート・オッペンハイマーの有名な格言を引用して、核兵器やAIに対する自分の見解を述べた
「(新しい)技術が生まれるのは、それが可能であるからだ(Technology happens because it is possible)」
学生から「(ChatGPTのような)生成AIはその便利さゆえに人間をダメにしてしまうのでは？」アルトマンは「むしろ人類をクリエイティブにするものです。かつて電卓が出来たことによって教室で計算に費やす時間が要らなくなり、その代わりに代数や幾何を教えるようになった。生成AIによって今後、それと同じようなことが起こると思います」と答えた
OpenAIの株式時価総額、つまり企業価値は約860億ドル(約13兆円)に達したと見られる。10ヶ月前にもセコイヤなどVCから株式公開買い付けを実施しているが、その時の時価総額は約290億ドルだった。1年足らずで約3倍に跳ね上がった
OpenAIは2023年に約20億ドル(2800億円)の売上を記録し、2025年にはその2倍以上の売上を見込んでいる。2024年には34億ドル(約5300億円)に達する見通し
マスクのx AIは2024年5月、大手VCから総額60億ドル(9000億円)の資金を調達した。生成AIスタートアップの中ではOpenAI(少なくとも130億ドル以上)、アンソロピック(約73億ドル)に次いで3位
アルトマンはAI向けの新たな半導体を開発すべく、総額5兆〜7兆ドル(750兆〜1000兆円)もの資金を調達する必要性に言及した
Googleのトラフィックは2026年までに約25%減少する見通しという
Appleが独自開発した「アップル・インテリジェンス」はiPhoneやMac向けに秋に提供される「iOS18」などに組み込まれる。日本で使えるようになるのは2025年以降になりそう
Amazonは、「アンソロピック」に約40億ドルの投資を決めたが、その投資額の大半はアンソロピックがAmazonのクラウドサービス「AWS」を利用する際の料金に使われる
大規模言語モデル(LLM)に今後は「推論能力(reasoning ability)」を持たせ、「万有引力の法則」や「ニュートンの運動方程式」に匹敵する科学的な大発見、あるいは微分積分のように独創的な論理構築を成し遂げる。これがOpenAIの次の目標
サム・アルトマンの生い立ちや、生成AIの市場について詳しく分かり、とても参考になる書籍で、AIを理解するには必読書とも思える1冊でおすすめです