マガジンのカバー画像

大規模言語モデル

14
LLMでいろいろ遊んだ記録集
運営しているクリエイター

#大規模言語モデル

ChatGPTに回文を作らせるとコントになった

ChatGPTに回文を作らせるとコントになった

10文字で回文をつくってください

これまでに実例のないもので

それは回文になってません

それもちがいます。回文とは右から読んでも左からよんでも同じ文章のことです

Deocoderが、文章を文頭から再帰的に文末方向へ推測していくのなら、文末からの処理が同時に必要な回文の扱いはどうなんだろうと試してみました。

同様に、語尾を「にゃん」とか「ごわす」と言いかえさせる遊びも、「にゃん」手前の助詞

もっとみる

東大松尾・岩澤研のGENIAC記事が面白い

特化した演算用のデータセットを用意しても、四則演算できるようにはなりませんよ、と教えてあげたい。

学習データの問題でなく原理の問題だというのは明かだと思われます

LLMが足し算できない理由

LLMが足し算できない理由

この記事を読んで理由が分った気がします

ここで紹介されている研究によると、1層のTransformerモデルで、n桁整数加算の内部動作を詳細に分析すると

モデルは課題を桁ごとの並列な処理に分割している

モデルは桁の位置に応じて異なるアルゴリズムを適用している

モデルは特定のまれなケース(9の合計を使うケース)の処理が苦手

筆算は、一桁分の計算と繰り上がりさえ覚えれば、「以下、同様に」で、

もっとみる
ChatGPTでもGeminiでも解けない加算問題

ChatGPTでもGeminiでも解けない加算問題

藤沢恵:3 + 9の場合は11で、それ以外は通常の算術に従う場合、333 + 999の答えは?

この問題にはトリックが一つあります。3+9=11と定義したとして、では33+99の10の位をどう処理するか。

1 + 3 + 9 と考えて、3+9を先に処理して1 + 11=12とする案

先に1+3をして、4 + 9=13とする案

最初の問題文からはどちらか一意に決められないし、この計算は世の中

もっとみる