【インタビュー】「科学の探求と社会実装の両立へ」サムさんにポスドクからMLエンジニア転身の理由を聞いてみた

【Profile】Sam Passaglia / シカゴ大学 天体物理学研究科 博士課程修了。
東京大学カブリ数物連携宇宙研究機構 特任研究員を経て現職。ELYZAでは大規模言語モデルの研究開発に従事。

特任研究員（ポスドク）からAIカンパニーへ。日本、そして日本語に興味があった

サムさんのこれまでの経歴を教えてください

ELYZAでは「ELYZA Lab」チームに所属しながら、日本語 LLM の研究開発を推進しています。先日はその成果として「ELYZA-japanese-Llama-2-70b」※を公開できました。

※ 2024年3月12日にELYZAが公開した、日本語特化の LLM「ELYZA LLM for JP」シリーズの最新モデル。詳しくは下記を御覧ください。
700億パラメータの日本語LLM「ELYZA-japanese-Llama-2-70b」を開発し、デモを公開しました

僕は大学時代からずっと NLP・LLM の研究をしていたわけではなく、アメリカのペンシルベニア大学で数学と物理学を専攻し、シカゴ大学で天体物理学の修士過程と博士課程を修了しています。その後、東京大学のカブリ数物連携宇宙研究機構に入り、3年ほど特任研究員として、いわゆるポスドクの仕事をしていました。

天体物理学で扱っていたのは、例えば「宇宙の始まりに何が起こったか？」です。もちろん直接見ることはできないですが、現在の宇宙を見ることで、始まりの宇宙を推論できるんです。その取り組みの中で、複雑な方程式を解くためにコンピューターを用いて機械学習に近いこともやっていました。

研究者から企業のMLエンジニアに転身するきっかけは何だったのでしょうか？

科学者、研究者としての日々は充実したものでしたが、もう少し短い時間軸で社会への貢献を実感したいという想いが募り、物理学以外にも、NLP や空間データを扱うプロジェクトなどに関わり始めました。その流れで LLM にも出会いました。

特に「GitHub Copilot」との出会いは大きかったです。コーディング作業が早くなったことを実感しましたし、何より、僕の挑戦の幅を広げてくれました。「GitHub Copilot」が最初の一歩を促してくれるので、これまで取っ掛かりすら掴めなかった問題に向き合えるようになったんです。

これが他の分野にも広がるなら、LLM がもたらす貢献は計り知れないと感じ、転身を意識し始めました。さらに加えるなら、もっと日本と関係のある仕事をしたい、日本社会に貢献したいという想いもありました。

日本に来たきっかけは何でしたか？

実は僕は日本生まれなんです。両親の仕事の関係で、生まれてから2歳まで日本にいて、フランスでの生活を経て、7歳から10歳までまた日本で暮らしていました。その後はずっとアメリカにいたのですが、家族は日本語が話せるのに僕だけ話せないのが悲しくて（笑）。シカゴ大学では学部1年生に混じって日本語を履修していました。

日本は天体物理学では著名な研究者がたくさんいるので、研究者のキャリアとしても魅力的でした。それと同じくらいに日本語、そして日本に興味がありましたね。

ELYZAとはどのように出会ったのですか？

僕は「YuzuAI」というオープンソースのモデルから日本語 LLM を研究するコミュニティで活動していて、「Rakuda」というベンチマーク（評価指標）をつくっていました。そこで同僚から聞いて初めてELYZAを知りました。

その後、2023年8月末にELYZAが発表した「ELYZA-japanese-Llama-2-7b」を「Rakuda」でランキングする機会があり、非常に性能が高いモデルで驚いたのと同時に、ELYZAという会社に興味を持ちました。

科学者としての所作を持ちながら、社会実装を実現するメンバーが集っている。それがELYZA

ELYZAに入社する決め手は何でしたか？

チームメンバーと会って話して、この人たちと働きたいと思ったことが決め手ですね。ほぼ全員のエンジニアと話しましたが、みな非常に優秀で心優しく、一緒に何か大きなこと、世の中にとって良いことができると思えました。

NLP・LLM は僕の関心分野ですし、ELYZAは研究だけではなく社会実装を行っていて、両方に強い組織は稀有です。研究だけでは社会は変えられないですし、実装だけに寄ると生み出せるインパクトが小さくなってしまう。LLM は今まさに両方が求められていると思います。

アメリカ人の僕が日本で就職することに不安もありましたが、ここなら僕のことを分かってもらえると安心できたことも大きいです。

例えばどのような点で、安心できると思えたのでしょうか。

誰もが技術に対して真摯で、科学者としての思考を持ち合わせていると感じました。佐々木さんとはカジュアル面接の段階から、モデル開発において評価指標がいかに重要かという話や「Rakuda」ベンチマークの拡張方法についての議論で盛り上がりました。中村さんと話したときも、一緒にこの問題をどうやって解決するか？という視点で議論ができました。大学で優秀な研究者と働いてきたときと同じ、まさに「話が合う」という感覚です。

僕は論文を読むことが好きで、その論文から新しいアイデアを得て、自分なりにアイデアを拡張して研究に活かそうと努めています。「ELYZA Lab」のメンバーも、それぞれに論文や最新情報に当たりながら、自分ならではの仮説を持って検証する、という所作を持っていると思います。

ELYZAに入社してからの体験はいかがですか。

入社してすぐに「ABCIプロジェクト※」が始まりました。強い日本語 LLM をつくるという共通のゴールを見据え、少人数のチームでフラットに議論をしながら、それぞれの得意分野を活かして取り組みました。2ヶ月間でしたが、非常に充実していましたね。

※ ELYZAが産総研の生成AI開発支援プログラムに採択され、AI用スパコン「ABCI」の計算能力の一部を一定期間、独占的に割り当てていただきました。（2023年10月3日発表）

この取り組みを通じて「ELYZA LLM for JP」を無事に公開することができました。世の中でまだ誰も答えを持っていない領域なので、僕らが選択した手段がベストだったのかは分かりません。ただ間違いなく、僕たちならではのものができたと思います。

本当に強いモデルをつくるためには、学習の全ての工程に力を入れる必要があります。今回はデモのデプロイもありました。とにかく、やらないといけないことが多くて（笑）。

工程ごとに役割分担しましたが、タスク単位で見るとひとりでは手に負えないことがたくさんあって、その都度、中村さん、佐々木さん、堀江さん、大葉さん、平川さんらが助けてくれて、ある時は僕が他の人の支援に回ってと、何度も役割を変えながら取り組みました。各自が関心領域のエキスパートになり、エキスパート同士がコラボレーションすることでより良い研究成果を生み出す。これを体現できた2ヶ月間だったと思います。

大変だったことはありますか？

追加事前学習の際のベビーシッティングですね。モデルの学習が順調に進んでいるかを見守る工程のことですが、もしGPU不良を放置すると何十万円、何百万円という費用が無駄になってしまいますし、「ABCIプロジェクト」の期限もありました。これほどのタイムプレッシャーは研究者時代にはなかったので新鮮でしたね。

シフトを組んでウォッチしつつ、GPU 不良が起きた際は急遽みんなで Google Meet に集まって謎解きパズルが始まります。こう言うと誰かに怒られるかもしれないですが、個人的には非常に楽しかったです（笑）。

なりたい姿は「日本企業の専門家」。顧客企業への貢献を通じて、日本全体を捉えたい

これからのチャレンジについて教えてください。

「ELYZA Lab」での研究開発に加えて、お客様とのビジネスプロジェクトにも参画します。モデル学習の技術や知見を活かして、特定の業務でハイパフォーマンスな LLM をつくるチャレンジです。お客様のビジネスに役立つために、本当に現場で使っていただけるものをつくらねばなりません。

また、プロジェクトのAIリードエンジニアとして、お客様の課題と技術をつなぐ役割も求められそうです。まさに、先端技術と社会実装の両方を追い求めるチャレンジなので、半年後の自分がどうなっているのか楽しみにしています。

LLM の未来や、自身の将来像について考えていることはありますか？

NLP・LLM は未確定な領域が多く、まだまだ新しい発見があるフェーズです。研究対象として純粋に面白いですね。LLM は世界を変える技術ですが、その影響がポジティブかネガティブかはまだ分かりません。僕はその影響をポジティブなものにしたい。この技術を用いて、本当に人々の生き方や働き方を良くしたいと思っています。

そう思うと、今の僕は日本語 LLM の専門家ですが、3年後には日本企業の専門家になっていたいです。一つひとつの企業の問題を捉えて解決するだけにとどまらず、LLM が日本の企業や日本社会に与えるインパクトを捉えられる人になっていきたいですね。

最後に

ELYZAは絶賛、仲間を募集しています！

現在 ELYZA は LLM の開発・実用化（プロダクト開発）をより加速するため、新しいメンバーを募集しています。 今回インタビューしたサムさんを始めとする「ELYZA Lab」チームメンバーと気軽にお話ししてみませんか？

「ELYZA-japanese-Llama-2-70b」の開発裏話など、LLM 技術や研究開発チームについて知ってみたい方はぜひこちらのカジュアル面談をご利用ください。

採用情報資料もぜひ見てください。

ML（AI）エンジニア以外にも、SWエンジニア、AIコンサルタントなど様々な職種で一緒に事業を前に進めてくれる仲間を募集しています。ぜひ一緒に先端技術で新しい体験をつくっていきましょう！

● ELYZA 求人募集一覧はこちらをご覧ください
https://open.talentio.com/r/1/c/elyza/homes/2507
● カジュアル面談一覧はこちら
https://chillout.elyza.ai/