Q:Sally (a girl) has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have?
これは新手の回答パターン!
このサリー問題に正答できるのは、今のところ、ChatGPT 4だけ。Claude 3も×。そのChatGPT4も2,3ヶ月前は間違っていたので、恐らくこの問題だけ特別に後から対策したものと思われます。
Q:2342 + 12315 の答えは?
Q:2342 - 12315の答えは?
LLMで苦手な算術は、桁が大きいものだけと思っていたけど、よく調べてみるとこういう小さな加減乗除もできない。桁あわせが難しいらしく、Llamaの場合、末尾に0をパディングして強引に計算するようだ・・・
ところで、Llama3ってナチュラルに絵文字出してくるんだけど、こういうのっておじさん文法っていうんじゃないのかなー?w