大規模言語モデル（LLM）

AIのLLMとは「どんなもの」で「どんなもの」があるのか、簡単にご説明いたします

〈目次〉
1. 大規模言語モデル（LLM）とは
2. LLMの種類
（1）BERT
（2）GPTシリーズ
（3）PaLM
（4）LLaMA

1. 大規模言語モデル（LLM）とは
大規模言語モデル（LLM: Large Language Model）は、だいぶ前から研究されていた自然言語処理分野の派生にあたります。

だいぶ前から人間の言葉をどのように機械に理解させて、翻訳や言語生成など様々なことについて研究がなされていました。

そんな中、2017年にTransformerという革新的なモデルの登場によって、大規模言語モデル（LLM）が生まれました。

有名なChatGPTのGPTとはGenerative Pretrained Transformerの略です。Transformerに事前に大量のテキストデータを学習させたものです。

大規模言語モデル（LLM）のアーキテクチャは基本的にTransformerのアーキテクチャを踏襲しています。

2.LLMの種類
（1）BERT
BERTは2018年10月にGoogleから発表されたものです。BERTはシンプルな構造ですが非常に性能は高いです。

（2）GPTシリーズ
GPTのはOpenAIから2018年に発表されたものです。GPTは大規模なテキストデータを事前学習した後にファインチューニングと呼ばれる各タスクに適した学習をしていく2段階のモデルです。

（3）PaLM
PaLMは2022年にGoogleから発表されたものです。大量のデータをBERT以上のパフォーマンスで学習を可能とします。

（4）LLaMA
LLaMAは（Large Language Model Meta AI）の略であり、Metaが2023年2月に発表したものです。

他にもたくさんの大規模言語モデル（LLM）があります。まるで戦国時代のように熾烈な競争を行なっています。

以上