Transformerの神通力はいつまで続くか
はじめに生成AIは2022年のChatGPTの登場から爆発的な関心を呼んでいます。
今回はTransformerが生成AIの最終解になるかどうかのお話をします。
生成AIとTransformer2016年のStanford大学と2023年のMITの生成AIの授業を比較しましたが、ほとんど内容は変わりませんでした。
その間に変わったのは大規模言語モデルが登場したことです。大規模言語モデルの発展を支えたのはGoogleが発明したTransformerです。
Transform