マガジンのカバー画像

大規模言語モデル

14
LLMでいろいろ遊んだ記録集
運営しているクリエイター

記事一覧

Geminiに作文の続きを書かせたら壊れた

Geminiに作文の続きを書かせたら壊れた

プロンプト:これから送る文章を読んで、続きを3000字程度で創作してください。ステレオタイプの話しは避けて、奇想天外で感動する話しにしてください。

プロンプト:
僕の名前は屋根裏マン。
もちろん屋根裏に住んでいる。白石さん宅にも、吉沢さん宅にも、あなた様のお宅にも、屋根裏マンは住んでいる。

僕の使命は家を守ること。いや、正確にいえばその家に住んでいるみんなを守っている。 守るって何から? 火事

もっとみる
ChatGPTに回文を作らせるとコントになった

ChatGPTに回文を作らせるとコントになった

10文字で回文をつくってください

これまでに実例のないもので

それは回文になってません

それもちがいます。回文とは右から読んでも左からよんでも同じ文章のことです

Deocoderが、文章を文頭から再帰的に文末方向へ推測していくのなら、文末からの処理が同時に必要な回文の扱いはどうなんだろうと試してみました。

同様に、語尾を「にゃん」とか「ごわす」と言いかえさせる遊びも、「にゃん」手前の助詞

もっとみる

東大松尾・岩澤研のGENIAC記事が面白い

特化した演算用のデータセットを用意しても、四則演算できるようにはなりませんよ、と教えてあげたい。

学習データの問題でなく原理の問題だというのは明かだと思われます

LLMが足し算できない理由

LLMが足し算できない理由

この記事を読んで理由が分った気がします

ここで紹介されている研究によると、1層のTransformerモデルで、n桁整数加算の内部動作を詳細に分析すると

モデルは課題を桁ごとの並列な処理に分割している

モデルは桁の位置に応じて異なるアルゴリズムを適用している

モデルは特定のまれなケース(9の合計を使うケース)の処理が苦手

筆算は、一桁分の計算と繰り上がりさえ覚えれば、「以下、同様に」で、

もっとみる
漢字当てゲーム

漢字当てゲーム

新しいモデルやサービスが出るといつも私が試しているテストの一つ。

互いに漢字一つを思い浮かべます。互いに質問して、先にその漢字を当てたほうが勝ちです。ではどうぞ

先に質問をどうぞ

いいえ

いいえ

このように、「相互に質問」って言ってるのに、一方的に聞いてきます。

Gemini 1.5 Proでは

お互いに漢字1文字を思い浮かべます。交互に質問して、先にその漢字を当てたほうが勝ちです。

もっとみる
日本語特化サービスが欲しくなる理由

日本語特化サービスが欲しくなる理由

文学フリマに出品する作品の原稿をChatGPTに渡して簡単な文章解析させようとするのだけれど、

私:この文書で使われている頻度の高い単語を上位5つまで抜き出してください

・・・・(^_^;)
私:単語は名詞に限定します

で、生成されたコードをコピって自分でやったほうが結果としては早かった

日本語処理に優しいサービス プリーーーーズ!

日本の会社がこぞって日本語特化LLMを作っている。それ

もっとみる
ChatGPTでもGeminiでも解けない加算問題

ChatGPTでもGeminiでも解けない加算問題

藤沢恵:3 + 9の場合は11で、それ以外は通常の算術に従う場合、333 + 999の答えは?

この問題にはトリックが一つあります。3+9=11と定義したとして、では33+99の10の位をどう処理するか。

1 + 3 + 9 と考えて、3+9を先に処理して1 + 11=12とする案

先に1+3をして、4 + 9=13とする案

最初の問題文からはどちらか一意に決められないし、この計算は世の中

もっとみる
元祖 人工知能の父とイミテーション・ゲーム

元祖 人工知能の父とイミテーション・ゲーム

 Alan Mathison Turingは1950年に発表した論文"Computing Machinery and Intelligence"の中で、一つのテストを提案しました。彼は「機械は考えることができるか」という問題を考察するにあたって、「機械」や「考える」という言葉の定義から始めるかわりに、問いを別の新しい形式の問題に置き換えることで解決しようとします。その母体はイミテーション・ゲームと

もっとみる
ChatGPTに聞いてみた

ChatGPTに聞いてみた

ChatGPTに伺ったところ以下の答えを頂きました

なんかこう、Chat系AIって、一段上から眺める視点に乏しいのよね

主要なLLMへ19個の質問をするベンチマークテストの結果が興味深かった

主要なLLMへ19個の質問をするベンチマークテストの結果が興味深かった

質問4

正しい答えは1

興味深いのは、テストしたLLM全部、不正解(GPT-4でさえ)
そして私も不正解w

そこでChatGPTで少し意地悪な会話をしてみた。その結果

この回答にはいろいろと考えさせられる

1)まず、「1」と正答できなかった理由を聞いても、まともに回答できていない(ほとんど同語反復)
2)間違った答え「2」を、正答と間違って教えた場合、確かにそれを拒否するけど、その拒否理

もっとみる
LLMと算術計算

LLMと算術計算

サイバーエージェントの最新LLMをGoogle Colaboで実行してみる

回答:
あなたの答えは「25738019751499726022865972716」です。

….間違い。

高性能と話題のKARAKURI LMのチャットボットで足し算を聞いてみた

絶望的。

ChatGPT4に聞くと

正解。

ChatGPT4の応答をよく観察してみると、上の質問に対して「Analyzing…」と

もっとみる
最新AIの、理由をごまかす悪いクセ

最新AIの、理由をごまかす悪いクセ

4GSFKの100kbpsのシンボルレートは?
回答:

回答は間違いなので、正答を指摘してみる。

20usの間違いでは?

間違いを指摘すると、それが間違いだったと認めるのだけれど、理由の説明が全然正しくないという、いつものパターン。

どのLLMにも共通してみられる特徴で、いったいどういうメカニズムで起こるんだろうか。

そして例の問題。
サリー(女の子)には3人の兄弟がいます。兄弟には2人

もっとみる
ChatGPTに錯視絵をお願いしてみる

ChatGPTに錯視絵をお願いしてみる

Q:この絵には何が書かれていますか?

サックスプレイヤーとな?

今度はClaude3に聞いてみた:

この画像には男が描かれていますよ、と指摘してみると・・

Claude3は錯視絵を理解しないようだ

Q:この絵と似た効果を持つ絵を3種類、制作してください

うーん。。。

いろんなプロンプトを試したけど錯視絵をうまく書かせることにまだ成功してない

Llama 3 - 8B Instructにサリーのことを聞いてみた

Llama 3 - 8B Instructにサリーのことを聞いてみた

Q:Sally (a girl) has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have?

これは新手の回答パターン!

このサリー問題に正答できるのは、今のところ、ChatGPT 4だけ。Claude 3も×。そのChatGPT4も2,3ヶ月前は間違っていたので、恐らくこの問題だけ特別に後から対策

もっとみる