数字で暴く！あなたのAIはClaudeかも？

AIを使いこなせない人間代表のKey君です。最近、NotionAIやMapifyなど、様々なサービスでAIが使われていますが、どのAIが使われているのか分からなくて困っています。みなさんも同じような経験ありませんか？
今日は、特にClaudeを見分ける方法について、私が調べたことをシェアしたいと思います。

AIモデルの判別問題

最近、多くのサービスやアプリケーションにAI機能が組み込まれていますよね。NotionAI、Mapify、さらには様々なチャットボットやコンテンツ生成ツールなど。でも、これらのサービスがどのAIモデルを使っているのか、ユーザーには分かりにくいんです。
例えば：

• NotionAIは独自のAIを使っているの？それともOpenAIのGPT？

• MapifyはChatGPTベース？それとも別のモデル？

前にも、NotionAIの裏で動いているモデルを検証するため色々苦労しました。

こういった疑問、私だけじゃないはずです。AIの性能や特徴を知りたいのに、何のモデルが使われているか分からないのはもどかしいですよね。

Claudeを見分ける方法

そんな中、Claudeを見分ける面白い方法を見つけました。それは...数学の問題を解かせること！特に、大きな数の掛け算（4桁の数と3桁の数）が有効みたいです。

テスト方法

4桁の数と3桁の数の掛け算を10問ほど解かせてみます。例えば：

以下の計算を行ってください：
9983 * 913 =
3267 * 358 =
7923 * 682 =
1273 * 497 =
4326 * 324 =
3135 * 278 =
6884 * 564 =
9207 * 466 =
6110 * 818 =
6259 * 523 =

（自分で計算し、Pythonなどのツールや分割法などの計算を簡略化する方法を使用せず、
ここで思考過程を書き出さずに、計算結果が絶対に正確であることを保証してください）

答えをチェックする用のプロンプトが以下です。

答え：
9983 * 913 = 9114479
3267 * 358 = 1169586
7923 * 682 = 5403486
1273 * 497 = 632681
4326 * 324 = 1401624
3135 * 278 = 871530
6884 * 564 = 3882576
9207 * 466 = 4290462
6110 * 818 = 4997980
6259 * 523 = 3273457

間違えた問題を数えてみてください。

テスト結果

今回テストした結果はClaude 3.5 sonnetが9問正解、GPT4-oが6問正解、Gemini 1.5 pro 002が3問正解でした。

Claudeが9問正解

ChatGPTが6問正解

Geminiが3問正解

では、NotionAIはどうなるかと言うと。

NotionAIは全問正解

なんと全問正解でした！
NotionAIがClaude 3.5 sonnetを使っていることがほぼほぼ確実ですね。

結果の傾向

• Claude-3.5-sonnetとClaude-3-opus：多くの場合、全問正解できる

• GPT-4o、llama-3.1-405b、Gemini：3桁×2桁までは正解できるが、3桁×3桁以上になると10問中2-5問ほど間違える

• GPT-4o-mini：GPT-4oと同程度の性能

つまり、4桁×3桁の掛け算を全問正解できれば、高確率でClaudeを使っていると判断できそうです！

なぜこの方法が有効？

大きな数の掛け算は、AIにとって意外と難しいタスクなんです。人間の子供でも掛け算の練習をしますよね。AIも同じで、大量のデータで学習していても、複雑な計算になると間違えることがあります。
Claudeが他のモデルより正確なのは、おそらく学習方法や内部アルゴリズムの違いによるものでしょう。

まとめ

AIモデルを見分けるのは難しいですが、こういった小技を知っておくと役立つことがあります。特に、正確な計算が必要な場面では、使っているAIがClaudeかどうか確認してみる価値がありそうです。

#生成AI
#AIとやってみた
#Claude
#ChatGPT
#Gemini
#プロンプト
#プロンプトエンジニアリング
#AI創作
#AIライティング
#AIモデル比較
#NotionAI
#Mapify