見出し画像

2024年、激動のチューリングの開発を振り返る

ymg_aq

こんにちは、チューリング株式会社でCTOをしている山口です。チューリングは自動運転車の開発をするスタートアップなのですが、2024年は特に多くの動きがありました。技術の責任者として、この一年の激動の出来事を振り返ってみたいと思います。

チューリング株式会社とは？

チューリングは2021年創業のスタートアップです。社員は50名を超え、業務委託やインターンを含めると80名近くの規模になっています。事業としては「完全自動運転車の実現」を掲げており、人類がまだ達成していない技術に向けて、ソフトウェアの面で日本から新しい産業を立ち上げようとしています。

企業サイトもリニューアル（https://tur.ing）

1. 会社、つぶれかける

2024年、チューリングは大型の資金調達、多数の開発成果発信もあり、すべて順風満帆にいっているように感じるかもしれません。しかし、実際にはそうではなく、3月には会社資金が底を尽きる寸前でした。

当時臨時CFOとして資金調達の責任を持っていた僕としては、本当に眠れない日々が続きました。プレッシャーで毎日3時間寝たら覚醒してしまっていたし、毎朝「おえぇ！」と、えずいていました。僕個人としても僕の友人/知人/先輩たちからも尋常ならざる金額を出資してもらっていたという経緯もあり、3月後半は「もし万が一だめだったら誰にどういう順番で土下座しようか？」というシミュレーションをしていたりしました。

COO田中大介さんのXポストより

横でみていて私も、これはダメかもな…と覚悟しました。しかし、そこからいろいろなことがあり、最終的にはプレシリーズAラウンドで総額55億円の資金調達をすることができました。

12/25の資金調達のプレスリリース

4月～6月の1st, 2ndクローズの45億円調達についてはCOOの田中さんのNoteに詳しく書かれているのでぜひご覧ください。

なにがあったのか？

簡単にいうと、電気自動車（EV）に対する逆風が吹きはじめたことが大きな要因でした。2023年前半ごろまではEV市場は右肩上がり、テスラだけでなく欧州の自動運転メーカーもこぞって電動化を推進していました。2023年8月にはベトナムのEVスタートアップが上場して時価総額28兆円となりゼネラルモーターズを上回るなど、「EVで上場する」というのが一つの方程式でした。

しかし、2023年の終わりごろには、EV市場の鈍化に伴い、投資家の目線も変わっていきました。つまり、「EVを量産する」というストーリーだけでは大型の資金調達をするのが非常に厳しくなりました。

そのため、我々は2月に、「EVの量産を目指す」という方針を一旦取り下げ、「自動運転AIにフォーカスする」という大きな事業方針の転換を行いました。もちろん、社内の開発にも大きなインパクトがありました。

それまでは「自社ブランドのEVを生産する」というところに9割以上のリソースを投入していたので、チーム体制や開発内容を大きく変更する必要がありました。組織的にもエンジニアにとっても痛みを伴うものでした。

かつてはEV車両や半導体などハードウェアを開発することを目指していましたが、現在のチューリングは「End-to-End自動運転AIとその周辺システム」を開発・確立することにフォーカスしています。

2. 基盤AI開発の躍進

資金調達が大変な2月、よいニュースがありました。それは経済産業省/NEDOの生成AI開発事業「GENIACプロジェクト」に採択されたことでした。

これは生成AI開発に必要な大規模なGPU計算資源を支援してもらうというもので、東大やNIIやPreferred Elements、Sakana.aiなどと並び、チューリングも第一期事業者の一つとして採択されました。

経済産業省GENIACのプロジェクトサイト

これにより、政府の支援を受けて大量のGPUを利用できるようになった上、「自動運転AI開発を推進する」という事業方針への弾みとなりました。

自動運転になぜ生成AIが必要なのか？という話は、一年前のNoteで詳しく紹介しています。チューリングでは2022年から「言語を解するAIモデル」が高度な自動運転に不可欠として開発を進めてきたのですが、世界的な技術の潮流もあり、2024年にはさらに加速することができました。

2-1. マルチモーダルAI「Heron」

チューリングでは2023年から視覚-言語マルチモーダルAI「Heron」を国内でも先駆けて開発してきましたが、そのアップデートで例えば車両に描かれたピカチュウも認識することができるようになりました。

日本語Vision Languageモデル heron-blip-v1の公開

（完全に余談ですが、CEOの山本一成さんは謎に英語名をピカチュウにしたいと主張していた時期があります）

また、4月には、国内でも先駆けて日本語マルチモーダルAIの評価ベンチマーク「Heron-Bench」を開発、公開しました。

こちらはWeights & Biases社の公式リーダーボード「Heron VLM リーダーボード」にも採用していただいています。さらに論文がCVPR2024WSにも採択され、国際会議で発表もできました。

2-2. モデル・データセット・ライブラリの公開

2月~8月のGENIACプロジェクトの成果として、開発したデータセット、日本語LLMモデル、マルチモーダルモデル、学習ライブラリを公開しました。

このうち、自社で収集した走行データにもとづく自動運転ドメインの視覚-言語-行動データセット「CoVLA-Dataset」についてはWACV2025に論文が採択された他、先日600万フレームの全データをHuggingFaceで公開しました。

チューリングは、AI開発においてデータを重視しているので、データセットの開発や公開にも力を入れています。

2-3. 生成的世界モデル「Terra」

そして、マルチモーダルAI以外で今年新しく取り組んだのが生成的世界モデルになります。ちょうど12月にOpenAIから動画生成モデル「Sora」が公開されましたが、その運転版と考えてもらえるとわかりやすかと思います。

マルチモーダルAIは言語モデルをベースとしているため、世界の物理法則や空間認識に課題があることが知られています。そのため、自動運転では周囲の世界がどうなっているかを理解させるタスクを溶かせる必要があります。

チューリングの世界モデル「Terra」の開発は4月から入社したリサーチャーの荒居さんが一人で開発してくれ、8月に発表することができました。

1500時間以上の走行動画で学習し、さらに前述のCoVLA-Datasetで車両の操作情報を追加することで、指示に忠実な運転シーンを生成する能力を獲得しました。Terraについては先日、モデルファイルとソースコード、論文を公開しました。

3. End-to-end自動運転とMLOps

もちろん生成AIのみを開発しているわけではありません。開発部のエンジニアの7割以上は自動運転AI・システムの開発に取り組んでいます。

2月の事業方針変更を受けて、新たなマイルストーンとして、「Tokyo30」というプロジェクトを掲げました。

Tokyo30プロジェクト

Tokyo30は、2025年12月までに自社で集めた走行データで学習したEnd-to-end自動運転モデルを実現し、東京都内の道路を30分介入なしで自動運転することを目標としています。

2024年、自動運転はEnd-to-endが新たな技術潮流として認知されはじめました。Teslaの自動運転システムFSDがEnd-to-endモデルに置きかわり、イギリスのEnd-to-end自動運転スタートアップが1600億円の資金調達をするなど、盛り上がりをみせています。

チューリングは、創業当初からEnd-to-end自動運転に取り組んできており、例えば2022年2月に書かれた最初のテックブログのテーマにもなっています。

最近の技術や我々の技術的な取り組みについては、E2E自動運転チームのリーダー、棚橋さんのテックブログやYouTubeで公開されているTechTalk #7をご覧ください。

3-1. データ収集車両、車載システム

End-to-End自動運転AIの学習をするには、何よりもまずデータを集める必要があります。それも、ただ集めるだけでなく、機械学習のためによく設計された、質の高いセンサデータが大量に必要になります。そこで、そのための車両とシステムを開発するところからスタートしました。

データ収集車両はそのまま自動運転の実験車両として共通化が図られており、これによりカメラ補正などの後段のデータ処理が格段に楽になっています。詳しくはYouTubeで公開されているTechTalk #9「自動運転車両のハードウェア＆システム徹底解剖」で解説しています。

3月ごろから着手し、ステアリングを自由に制御するための車両改造や、周囲カメラ、GNSS、IMU、LiDARなどのセンサ設置、車載計算機、さらにその上で動作する収集システムを急ピッチで整備しました。

6月末には1台目のデータ収集車両が完成し、今は16台目の車両の準備を進めています。走行データの収集は、東京都内で複数台で同時に行っており、運がよければ見ることができるかもしれません。

また、車載システムのソフトウェア開発も行っています。C++/Python/TypeScriptを中心に、開発用Dockerや車載計算機によるself-hosted runnerでのCI/CDなど、実装からテスト、デプロイまでかなりモダンな開発環境を積極的に取り入れています。

3-2. 大規模データとMLOps

我々はEnd-to-end自動運転を実現するため、「Data-Centric」というアプローチをとっています。これはAIモデルそのものより、それを学習するためのデータを改善していくというものです。

Data-Centricアプローチ

このData-Centricアプローチを体現するために重要なのが、MLOps（Machine Learning Operations）です。MLOpsとは、ソフトウェア開発のDevOpsの考え方を機械学習に適用したもので、データの前処理、パイプラインの自動化、機械学習モデルの継続的な学習、デプロイなどが含まれます。

MLOpsは自動運転AIを作る「工場」

このMLOpsやデータセットを構築するための開発には、自動運転チームの大半のリソースを投入して半年以上かかりましたが、その結果、現在は数十ペタバイト級のデータにスケールできるようになりました。2025年夏頃には20PB程度のデータ容量になる見込みです。

実は2022年に入社したときに「1ペタバイトのデータセットで機械学習をする」というテックブログを書いたのですが、いよいよ現実になってきました。

3-3. End-to-end自動運転モデル「TD-1」

データ収集とMLOps基盤が固まることで、ようやく機械学習ができるようになったのが夏以降です。初期はデータが少なく、満足な推論ができなかったところから、数百倍のデータセットで学習できるようになり、性能が飛躍的に伸びてきました。

そして、10月には実験車両で動作させ、実際に運転することに成功しました。Tokyo30発足以降、データ構造からモデル構造まですべて作り直して、ようやくここまで来ました。

この開発している自動運転AIですが、「TD-1」という名前をつけました。TDは「Turing Drive」と「Tokyo Drive」の2つの意味があります。そして12月からは公道での走行実験も始めました。

4. GPU計算基盤の確保

生成AIの開発とEnd-to-end自動運転AIの開発に共通しているのは「大量のGPU資源が必要となる」ことです。この問題に対応するため、昨年4月ごろから自社専用のGPUクラスタの構築準備を進めてきました。クラスタの要件定義から各ベンダへの見積もり、交渉を水面下で進めていました。

当初は2024年春頃の稼働を予定していたのですが、資金調達の難航もあり、9月までずれ込みました。経産省GENIACでたまたま2~8月まで計算資源が確保できたので、AI開発を止めることなかったのは幸いでした。

このGPUクラスタ、「Gaggle Cluster」ですが、構築にあたり特にコストをかけたのは、ストレージ、インターコネクトです。大規模なAI学習では、しばしばストレージI/OやGPU間通信がボトルネックになり、GPUの性能が引き出せないことがよくあります。

Gaggle Clusterの特徴

GPUクラスタの技術的な詳細はTechTalk #6「スタートアップにおける自社GPUクラスタ構築の裏側」で解説しています。ちなみにTechTalkで登場しているインフラエンジニアの渡辺さんは、Gaggle ClusterやGoogle Cloud、AWS上のGPU環境の構築・運用までを一人でやっています。

当初はH100 96基あれば十分…と思っていたのですが、稼働して2週間で社内の需要に追いつかなくなりました。10月からはGENIACの第二期のGPUも併用しています。

5. 技術発信・採用の強化

直接的な開発以外の取り組みについても紹介したいと思います。2024年はエンジニア採用にむけ、さらなる技術発信の強化に取り組みました。

テックブログ

チューリングは今年、25本のテックブログを執筆しました。アドベントカレンダーなどはやっていませんが、ソフトウェアからハードウェアまで、幅広い領域で面白い記事を発信できたかなと思います。

どの記事も面白い内容ですが、個人的なお気に入りを3本紹介したいと思います。

テックトーク（YouTube）

今年後半からは、技術記事だけでなく、YouTube上での技術解説も積極的に行うようになりました。テックトークは、開発の最新情報について担当するエンジニア・リサーチャーが直接解説する番組です。

メディア・講演

チューリングはこれまでもたくさんのメディアに取り上げていただいていたのですが、2024年からは広報の阿部さんが入ってくれたおかげで、メディア露出や外部登壇の機会が圧倒的に増えました。

ちなみに阿部さんは一人で広報業務をするだけでなく、チューリングのイベントを撮影し、即日動画編集してアップロードしてくれています。

個人としても、2024年はテレビ番組出演4回、外部登壇は20回、取材対応はおそらく40回以上と過去最高でした。

学会・論文投稿

また、エンジニア・リサーチャーに研究力をPRするため、学会スポンサー・論文投稿も増やしました。今年投稿した学術論文は6本、発表は国内3件、国際会議3件でした。

また、MIRUやYANSシンポジウムのスポンサーとして、初めて企業ブースを出しました。来年以降も積極的にスポンサーしていきたいと思います。

データ分析コンペ

チューリングには強いKagglerが多く、現在Grand Master 3名、Master 1名が在籍しています。個人的には自動運転の開発とKaggleでの経験は非常に相性がよいと考えていることもあり、自社開催のコンペをいつか開きたいと考えていました。

11月には、atma社と共同でEnd-to-end自動運転をテーマとしたコンペを主催できました。こちらの表彰式と解法解説の様子は後日YouTubeで公開予定です。

チューリング飯

6月からは一人あたり1.3万円の会食を行う「チューリング飯」制度がスタートしました。これは、転職意図がない人でも、美味しいご飯を食べるという名目でカジュアルに話すことができるというもので、潜在的な採用候補者の方とお話させていただくことを目的としています。

ちなみに多い人で25回以上行っているそうです。採用施策としては非常に効果が高く、チューリング飯をきっかけに複数の方が入社してくれました。

2025年も継続しますので、少しでも興味がある方はお気軽に私や社員にDMしてください。

2025年、そして完全自動運転

2024年を振り返ってみると、いろいろなことがありつつ、改めて「モメンタム」を感じる1年でした。以前の振り返りでは、「データを集める」「GPUを集める」「人を集める」ことが重要と書きましたが、今年はそれが具体的な成果としてスケールしつつあると実感しています。（この記事で取り上げた内容はごく一部なので、中ではさらに多くの開発が進められています。）

2025年は、いよいよTokyo30という大きなマイルストーンの実現に向けて開発を加速させていきます。また、その後に向けての基盤AI開発として、マルチモーダルAIや世界モデル、強化学習を進め、完全自動運転に向けて全力で取り組んでいきたいと思います。

最後になりますが、チューリングは、大きな目標を掲げ、2025年以降も多くのエンジニア・リサーチャーの採用を目指しています。事業や技術に興味がある方はぜひ採用ページをチェックしてみてください。

また、インターンも常に募集していますので、興味のある学生の方はぜひご応募いただければと思います。

ここまで記事を読んでいただきありがとうございました。それでは皆様、良いお年を。

We Overtake Tesla

いいなと思ったら応援しよう！