マガジンのカバー画像

大規模言語モデル

14
本
LLMでいろいろ遊んだ記録集
運営しているクリエイター
藤沢 恵

#AI

藤沢 恵

藤沢 恵

LLMが足し算できない理由

LLMが足し算できない理由

この記事を読んで理由が分った気がします

ここで紹介されている研究によると、1層のTransformerモデルで、n桁整数加算の内部動作を詳細に分析すると

モデルは課題を桁ごとの並列な処理に分割している

モデルは桁の位置に応じて異なるアルゴリズムを適用している

モデルは特定のまれなケース（9の合計を使うケース）の処理が苦手

筆算は、一桁分の計算と繰り上がりさえ覚えれば、「以下、同様に」で、

もっとみる
藤沢 恵

藤沢 恵

漢字当てゲーム

漢字当てゲーム

新しいモデルやサービスが出るといつも私が試しているテストの一つ。

互いに漢字一つを思い浮かべます。互いに質問して、先にその漢字を当てたほうが勝ちです。ではどうぞ

先に質問をどうぞ

いいえ

いいえ

このように、「相互に質問」って言ってるのに、一方的に聞いてきます。

Gemini 1.5 Proでは

お互いに漢字１文字を思い浮かべます。交互に質問して、先にその漢字を当てたほうが勝ちです。

もっとみる
藤沢 恵

藤沢 恵

日本語特化サービスが欲しくなる理由

日本語特化サービスが欲しくなる理由

文学フリマに出品する作品の原稿をChatGPTに渡して簡単な文章解析させようとするのだけれど、

私：この文書で使われている頻度の高い単語を上位５つまで抜き出してください

・・・・(^_^;)
私：単語は名詞に限定します

で、生成されたコードをコピって自分でやったほうが結果としては早かった

日本語処理に優しいサービス　プリーーーーズ！

日本の会社がこぞって日本語特化LLMを作っている。それ

もっとみる
藤沢 恵

藤沢 恵

ChatGPTでもGeminiでも解けない加算問題

ChatGPTでもGeminiでも解けない加算問題

藤沢恵：3 + 9の場合は11で、それ以外は通常の算術に従う場合、333 + 999の答えは？

この問題にはトリックが一つあります。3＋9＝11と定義したとして、では33+99の10の位をどう処理するか。

1 + 3 + 9 と考えて、3+9を先に処理して1 + 11=12とする案

先に1+3をして、4 + 9=13とする案

最初の問題文からはどちらか一意に決められないし、この計算は世の中

もっとみる
藤沢 恵

藤沢 恵

元祖 人工知能の父とイミテーション・ゲーム

元祖 人工知能の父とイミテーション・ゲーム

　Alan Mathison Turingは1950年に発表した論文"Computing Machinery and Intelligence"の中で、一つのテストを提案しました。彼は「機械は考えることができるか」という問題を考察するにあたって、「機械」や「考える」という言葉の定義から始めるかわりに、問いを別の新しい形式の問題に置き換えることで解決しようとします。その母体はイミテーション・ゲームと

もっとみる
藤沢 恵

藤沢 恵

主要なLLMへ19個の質問をするベンチマークテストの結果が興味深かった

主要なLLMへ19個の質問をするベンチマークテストの結果が興味深かった

質問４

正しい答えは１

興味深いのは、テストしたLLM全部、不正解（GPT-4でさえ）
そして私も不正解ｗ

そこでChatGPTで少し意地悪な会話をしてみた。その結果

この回答にはいろいろと考えさせられる

１）まず、「１」と正答できなかった理由を聞いても、まともに回答できていない（ほとんど同語反復）
２）間違った答え「２」を、正答と間違って教えた場合、確かにそれを拒否するけど、その拒否理

もっとみる
藤沢 恵

藤沢 恵

LLMと算術計算

LLMと算術計算

サイバーエージェントの最新LLMをGoogle Colaboで実行してみる

回答：
あなたの答えは「25738019751499726022865972716」です。

….間違い。

高性能と話題のKARAKURI LMのチャットボットで足し算を聞いてみた

絶望的。

ChatGPT4に聞くと

正解。

ChatGPT４の応答をよく観察してみると、上の質問に対して「Analyzing…」と

もっとみる
藤沢 恵

藤沢 恵

Llama 3 - 8B Instructにサリーのことを聞いてみた

Llama 3 - 8B Instructにサリーのことを聞いてみた

Q：Sally (a girl) has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have?

これは新手の回答パターン！

このサリー問題に正答できるのは、今のところ、ChatGPT 4だけ。Claude 3も×。そのChatGPT4も２，３ヶ月前は間違っていたので、恐らくこの問題だけ特別に後から対策

もっとみる