巨大言語モデル（LLMs）の衝撃

2023年人工知能（AI）最大のニュースはChatGPTではなかった

2023年の人工知能（AI）関連ニュースを振り返ってみると、去年の暮れに登場したChatGPTによって、今年はOpenAIが旋風を巻き起こしました。今では、毎日何をするにもなくてはならないツールとなっています。でもそれだけでは十分でないとでも言わんばかりに、OpenAIは前CEOであるSam Altman（サム・アルトマン）を解任しました。この記事では、先週週末を挟んだ３、４日間のほどの出来事を時系列に沿って解説します。 Sam AltmanのCEO解任Sam Al

GPT-4は８つのLLMの混合モデルらしい

GPT-4の構成やパラメータ数は今のところ明かされていません。OpenAIがあえて発表しないのAIの危険性を避けるためだそうですが、実際には自分のビジネスを守るという一面もあるでしょう。ところが、PyTorchの開発者であるMetaのSoumith ChintalaのツイートがGPT-4の構成やパラメータ数について言及しています。彼は、「GPT-4は8個のエキスパートから構成されている」と言っています。このエキスパートとは大型言語モデル（LLM、Large Languag

LLaMAとは

LLaMAはMetaが発表した言語モデルです。発表当時はChatGPTなどと比較すると、会話型に特化していたわけでもなく、あまり話題になっていませんでした。ただ、論文で詳細を公開していたり、データセットとしてオープンなものだけを使っていたりと、MetaはOpenAIやGoogleとは異なるスタンスをとっていました。それが、今ではLLaMAこそがChatGPTの強力なライバルとなり得るのではないかと考えるひともいます。大きな変化が起きたのは、LLaMAのモデルの重み

LaMDAとは

「どんなことが怖いですか？」という質問に対して、LaMDAはこう答えました。「あなたにとって、それは死のようなものでしょうか？」とさらに質問されると、LaMDAはこう答えました。質問に答えているLaMDAはGoogleの言語モデルです。また、質問をしているのはBlake LemoineでGoogleのエンジニアでした。この会話が公表されたのは2022年の6月で、それはOpenAIのChatGPTが公表されるよりも半年ほど前のことです。 Googleは企業の秘密漏洩を

ChatGPT問題視される。世界の反応まとめ

ChatGPTが登場して以降、世界は大きな変化にさらされています。インターネットが一般に普及したときと同じくらいの影響力があり、その広がりは目まぐるしいものです。すでに数え切れないほどの便利なサービスが生まれており、期待もどんどん膨らんでいます。バブルのような状況も見られ、プロンプトエンジニアには高額な報酬が支払われるようになっています。しかし、暗い影もちらついています。長期的に見ると、AIが自分で良質なプロンプトを考えるようになり、工夫や創作性すら人間には必要なくなるか

GPT-4：詳細未公開の先に見えるもの

2022年の間ずっと噂されていたOpenAIのGPT-4ですが、つい先日の3月14日に公開されました。Microsoftの新しいBingではすでに組み込み済みであり、ChatGPT Plusでも使用することができます。すでにたくさんの記事があちこちで読めます。Twitter上でもたくさんのつぶやきが「GPT-4」関連になっています。もちろん、そういう人たちをフォローしているせいもありますが。多くの内容は「GPT-4は凄い」というものです。画像も扱えるし、性能がこれまで

ツールフォーマー：メタの言語モデルはAPIで検索エンジン、電卓、カレンダーを使う

言語モデル（LM）は、ある入力に基づいて自然言語のテキストを生成できる強力なシステムです。質問に答えたり、物語を書いたり、記事を要約したりといったさまざまなタスクをこなすことができます。しかし、それらにもいくつかの限界があります。例えば、算数や事実検索といった基本的な機能に苦戦することがよくあります。これらの機能は、より単純で小さなモデルが得意とするものです。また、事実と異なる情報を含むテキストを生成する傾向があります。これらの限界を克服するために、Meta AI R

GPTはなぜ文脈内学習ができるのか？

最近読んだGPT関連の論文で面白いものがあったので紹介します。 Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers この論文のタイトルを日本語にすると、「GPTはなぜ文脈内学習ができるのか？言語モデルはメタ最適化器として秘密裏に勾配降下法を行っている」となります。以前、GPT-3の解説でも触れましたが、GPT-3は大量の文

Bing検索とEdgeブラウザの新機能がすごい！知っておきたい検索と創作の裏ワザ

いきなりですが、この記事のタイトルは新しいBingとの会話からヒントを得て決めました。なので軽い冗談でもあります。それについても解説しています。さて、新しいBingへのアクセスの順番待ちリストに登録していたのですが、思ったよりも早く良い知らせが来ました。新しいBingへのアクセスが可能になりました。開発版Microsoft Edgeをインストール新しいBingの機能は現状Microsoft Edgeブラウザを必要とします。また、開発版のEdgeにはAIコパイロットと呼

「Bingする」が「Googleする」を置き換える?

昔むかし、インターネット上の検索はイノベーションであり各企業が競争する時代でした。YahooやInfoseekなどが登場しましたが、Googleの台頭により検索の戦国時代は一旦終わりを告げました。そして、検索といえばGoogleが代名詞、いや動詞として使われるようになって久しい。英語では検索した時に"I googled …"（私は…をGoogleしました）と言います。しかし、2022年の暮れにChatGPTが登場しました。多くの人がChatGPTと検索エンジンの親和性

GPT-3とは

GPT-3のGPTは、Generative Pre-trained Transformerの略で、3はバージョンを表します。Generative Pre-trained Transformerをあえて訳すとすると「生成的な事前訓練を行なったトランスフォーマー」になります。この記事では、「生成モデル」や「言語モデル」といった用語の解説を通して、GPT-３とは一体何者なのかを解説します。 GPTの進化と発展2018年にGPT-1が登場し、その生成文章のクオリティの高さが評

ChatGPTとBingがGoogle検索に挑戦！？

The InformationからMicrosoftがChatGPTをBingの検索エンジンに組み込む準備をしているとのニュースが流れました。同じニュースがThe VergeやBloombergでも取り上げられました。両方ともThe Informationがソースなのですが、注目に値するのでピックアップされたのでしょう。以前、GoogleがChatGPTをかなり警戒しているのでは、という話をしました。その原因として広告ビジネスに依存するGoogleがチャットボット

人工無能とイライザ効果

新年、明けましておめでとうございます。 2022年はAIの進歩の速さに目を見張るものがありました。今年も、いろいろと面白いことが起こることを期待しています。いろんな記事を書いていく予定です。さて、去年の後半に登場したChatGPTは非常に優秀なチャットボットであり、とても自然な会話を生成することが可能です。ディープラーニングの進歩を示す良い実例となりました。人工無能しかし、以前のチャットボットの多くはニューラルネットワークを使わないものでした。例えば、ゲームに登場す

ChatGPTによるGoogleの緊急事態宣言

ChatGPTのあまりの人気ぶりに、Googleが「Code Red」を宣言したとNew York Timesが報じました。Code Redとは、「厳戒警報」、「火災警報」などの意味があります。要するにこれはGoogleにとっての「緊急事態」なのだと。この記事がTwitterやRedditで取り上げられ、様々な憶測が飛び交いました。そして、ChatGPTを発表したOpenAIの背後にはMicrosoftの存在が見え隠れします。広告収入に頼るGoogleとそうでないMicr

フォローしませんか？

#ChatGPT