【4コマ漫画でわかる生成AI】言語モデルってどう進化してきたの？

4コマ漫画「言語モデルってどう進化してきたの？」

LMとは？

LM（言語モデル）とは、自然言語からなる文章をコンピュータで扱うための確率モデルです。

• 文や単語の出現確率を基に、次に来る単語を予測する仕組み。

• 目的: 言語がどれだけ自然であるかを評価し、文章の生成や解釈を可能にします。

n-gramモデル

• 特徴:

  • 文脈として直前のn個の単語しか考慮しないため、計算が簡単。

  • 長い文脈には対応できず、精度が低くなることがあります。

• 例:

  • n=2 バイグラム（2-gram）: 「I like」の次に「cats」が来る確率 P(cats|I like)

  • n=3 トライグラム（3-gram）: 「I like cats」の次に「because」が来る確率 P(because|I like cats)

ニューラル言語モデル

• 特徴:

  • 文全体の文脈を考慮できるため、より自然で精度の高い文章生成が可能。

• 例:

  • 「I like cats because they are cute」全体を考慮し、「cute」が適切な続きであると判断。

• 利点:

  • 長い文脈を理解できる。

  • 単語間の関係性を深く学習可能。

• 応用:

  • 翻訳、文章生成、質問応答など。

LLM

ニューラル言語モデルをさらに進化させ、Transformerアーキテクチャを基盤にして構築されています。
詳しくは、次の記事をご覧ください。