シェア
GPT-3のGPTは、Generative Pre-trained Transformerの略で、3はバージョンを表します。Generative Pre-trained Transformerをあえて訳すとすると「生成的な事前訓練を行なったトランスフォーマー 」になります。 この記事では、「生成モデル」や「言語モデル」といった用語の解説を通して、GPT-３とは一体何者なのかを解説します。 GPTの進化と発展2018年にGPT-1が登場し、その生成文章のクオリティの高さが評
この記事では米国スタンフォード大学の記事が定義したファウンデーション・モデル（基盤モデル、Foundation Model）というキーワードについて解説します。 ファウンデーション・モデルとはファウンデーション・モデルは、広範なデータでトレーニングされたモデルとして定義されます。通常は大規模な自己教師あり学習（Self-Supervised Learning）を行います。つまり、データの一部を隠すなどしてモデルに予測させる訓練をするので、教師あり学習（Supervised
AI関連のニュースでここ数日の一番の話題と言えば、ChatGPT。 ChatGPTはどうしてTwitterで人気なのか？特にTwitterでは、このChatGPTに関するツイートが多く見られます。なので本人に質問してみました。 かなりもっともらしい文章と言えます。 すでにユーザーが100万人を突破しているChatGPTは、ご覧のように日本語でも使用可能です。このモデルは、「任意の文章を入力すると、その文章に対しての受けごたえをする内容を生成してくれる」という特性があり、
今回使うモデルは、東北大学が提供しているBERTを日本語に対応させたもの。早速やってみよう。 MeCabをインストールするMeCabは日本語の文章の形態素解析（トークン化）を行うツールです。 WindowsとLinuxは本家のウェッブページにインストールの方法があります。 macOSであれば、brewを使ってインストールできます。brew自体がない方は、こちらからインストールしてください。 brew install mecab Pythonの環境を作るまず、Pyth
DeepMindが何か発表するたびに、「革新が起きる」と言っても言い過ぎでないほど色々やってくれる会社だ。アタリゲーム、チェス、将棋、スタークラフトなどで人間以上のプレイをし、何年も先と思われていたタンパク質の構造予想、つい最近では「核融合を制御できるAI」なんてのもある。 そんなDeepMindが競技用プログラミングのコードが書けるAIを開発した。 しかし、そもそも競技用プログラミングとは何か。実は、コードフォース(Codeforces)というサイトで開催されるプログラ
