常識を覆す発見：大規模言語モデルとiPS細胞作成のブレイクスルー
大規模言語モデルのブレイクスルー
ChatGPTに代表される大規模言語モデル(LLM)は、２０１７年に提唱されたトランスフォーマーアーキテクチャーを使用し、モデルを巨大化したものだが、やっていること自体は従来の言語モデルと変わらない。入力に続く単語の尤度(適切さ)を最大化する単語を選び、それを追加したうえで次の単語を予測するという計算処理を応答が終了するまで繰り返すのみだ。
次に続きそうな単語を予測しているだけで高度な知能(推論・思考・意思決定)が達成できるはずがない、２０１８年ごろまでは誰もがそのように考えていただろう。しかし、基本的にはモデルサイズを大きくするだけでそのような振る舞いを達成することができてしまった。なぜOpenAIの研究者が最初に言語モデルを大規模化したかはわからないが、それによって現代のLLMのブレイクスルーが生まれたことは間違いないだろう。
iPS細胞の作成秘話
iPS細胞作成は、体細胞を多能性幹細胞へとリプログラミングする画期的技術で、山中博士はこの発見により２０１２年にノーベル医学・生理学賞を受賞した。iPS細胞を樹立する際には、山中因子と呼ばれる４遺伝子の導入が行われる。この４つの遺伝子は、体性幹細胞(ES細胞)で特異的に発現し、多能性の維持に重要と考えられる２４の遺伝子から絞り込まれたものである。
このiPS細胞を樹立する際に必要な遺伝子を絞り込む過程で、細胞への２４(または２３)の遺伝子を同時に導入するということが行われている。細胞生物学の常識から考えると、このような多数の遺伝子を同時に導入してもすべてが狙い通りに発現するとは考えにくく、また発現を確認することも困難なため、無謀な実験なように思える。山中博士のインタビューなどを聞いてみても、実験当時うまくいくという確証はなく、多能性幹細胞を作りたいという目的達成のためにやってみたらうまくいったというのが実情のようである。実際に、iPS細胞がなぜ後天的に多能性を獲得できるのか、というメカニズムの研究はiPS細胞の樹立後も長く続いている。
どちらも世界を確実に変えた大きな発見であるが、(それゆえに、)常識的には考えられないようなアプローチがとられている。そのようなアプローチをとる多くの研究は失敗に終わっているはずなので、教訓を得るのは難しいが、研究領域全体としてはこのような論理的・現実的に考えてやめたほうがよさそうな手段も必要なのかもしれない。
参考文献
大規模言語モデルの開発 - Speaker Deck
Amazon.co.jp: 高校生からのバイオ科学の最前線 iPS細胞,再生医学,ゲノム科学,バイオテクノロジー,バイオビジネス, iGEM : 生化学若い研究者の会, 石浦章一, 片桐 友二: 本
～未来を創る若者たちへ～孫正義、山中伸弥、五神真、羽生善治の4氏による対談 (youtube.com)
大規模言語モデル（LLM）は、トランスフォーマーアーキテクチャを用いてモデルを巨大化することで、高度な知能を達成したが、その基本的な計算処理は従来と変わらない。iPS細胞の作成は、多数の遺伝子を同時に導入するという常識外れの方法で成功し、山中博士はノーベル賞を受賞した。両者とも、常識では考えられないアプローチが採用され、その成功が世界を変えたが、多くの研究は失敗に終わる可能性が高い。
サムネイル画像はDALL-Eにより生成