【初心者向け】ChatGPTって何？

はじめに

ChatGPT3-5がリリースされてから1年以上経った中で
今更感がありますが…アウトプットとして残して参ります。
※誤った情報があればご指摘いただけると助かります！

この記事の対象者

・ChatGPTの仕組みを知らない人&忘れた人
・これからITエンジニアになる方

ChatGPTとは？

Open AIが2022年11月30月にリリースした
大規模言語モデル（LLM）と利用者のフィードバックで
回答精度を高めていく自然言語処理の生成AIサービスです！！

ChatGPTの要素

大規模言語モデル(Large Language Models)

一言で表すと
「大量のテキストデータから言語パターンを学習×自己学習させ、
　人間と同じように文章の理解と作成が可能なAIモデル」です。

この一言でも？？？となるので、
言語モデルがそもそも何か理解する必要があります。

1.言語モデル

言語モデルは
「文章中のある単語の後に出現する単語の確率を計算するモデル」です。
※このモデルを利用して、
  自然言語処理の分野ではデータを自己学習していきます。

○自己教師あり学習
自身で学習した文章から別の学習用の文章を生成・学習すること

写真挿入(言語モデル)

2.言語モデルの仕組み

①トークン化
入力文内をトークン（最小単位）として分け、ベクトル化させる

○トークン化の例
元の文章：彼女は東京出身です
トークン化："彼女","は","東京","出身","です"

②エンコード・文脈理解・デコード
各ベクトル値から頻度や位置関係などの特徴をもとに
関連性のある単語の確率を計算する
※この計算で"Transformer"が利用されております。

○Transformer
下記の①〜③の流れを
複数同時に計算し、文章のある単語の重要度を計算します
※長文でもある単語の重要度の解釈が可能

①エンコード
トークン化したデータを数値化させます

【ベクトル化の例】　
※値はあくまでも例です。
"彼女"の単語埋め込みベクトル: [0.2]
"は"の単語埋め込みベクトル: [0.1]
"東京"の単語埋め込みベクトル: [0.7]
　　　　　　　　　　︙
平均化ベクトル = 各ベクトルの合計 / トークン数

②文脈理解
"Attention"を利用し、類似度や重要度を計算し、
どのデータをどのように使うかを学習

文章①彼女は東京出身です→[0.2,0.1,0.7,……]
文章②彼は東京で働いています→[0.3,0.1,0.8,……]

③デコード
次のトークンを予測し、出力する
"彼ら"→"は"→"東京"→"で"→"働い"→"て"→"ます"

生成される文章：彼らは東京で働いてます

まとめ

ChatGPTは自己学習で文章中の重要度の高い単語を次々学習し、
人間と対話が自然にできるように機械と人間のフィードバックを通じて
サービスの向上がされているんだなーと分かりました。

ここまで閲覧いただき誠にありがとうございました！