1.はじめに
はじめまして、AKです。
いつも見てくださってる方はありがとうございます。
私は普段、日々の日記やAIを用いたポケモン開発などに焦点を当ててブログを書いています。とにかく自分が楽しそうなチャレンジをしています。
最近は3か月チャレンジと題し、色んなことに挑戦しようとしています。
前回は「ポケモン風ゲームを3か月で作成する」に挑戦し、今は「DBスペシャリスト取得チャレンジ」に挑戦中です。
生成AIの可能性やゲーム制作に興味のある方は是非一読していただけますと幸いです。
【0チャレンジ】【チャレンジ結果】3ヶ月でAIを駆使してポケモン風RPGは作れるのか with Claude3.5 | 記事編集 | note
今回は第2回?GPT vs Claudeです。
多くの人が色んな観点で比較していますが、データベーススペシャリストのような難易度の高い資格の問題での比較は少ないと思うので必見です。
「こういうのが知りたかった!」と思える人がいれば幸いです。
※ここで補足
私は、いわゆる謎かけ?のような問題を解かせて比較するのは個人的にあまり好みではありません。なぜなら、実際にそのような質問をすることはないと思うからです。確かに手っ取り早く能力を図れるとは思うのですが。。
むしろ、資格の勉強やコーディング、要約力や説明力(質問者が納得しやすい文章)の比較こそ興味があります。
2.簡単な経歴
例のごとく、簡単な経歴を記載しておきます。
参考までに。
3.チャレンジについて
・3か月(といっても本番まで後29日)間、AIを駆使してDBスペシャリストの勉強をしていきます。応用情報落ちてますが、気にしない気にしない。
・分からないことはとにかくAIに質問して理解を深めていきます。
※事実確認を含めてネット検索や参考書で最低限、AIの文言について事実確認はしています。しかし、勉強中の身ですので万が一誤りや正確性に欠ける表現がある場合はご了承ください。。ご指摘いただけますと幸いです。
・しばらく本ブログはデータベーススペシャリストの勉強記録兼生成AIの回答精度向上の試行錯誤の内容になると思います。
・様々な資格の勉強で応用いただけると幸いです。
4.本題
さて、試験勉強にも戻らないといけないのでガンガン説明していきます!
以下にClaude3.5とGPT o1を実際に使い比べた結果を示します。
私の質問のところは基本画像ですが、これを文字化したものを質問しています。これは現状、o1が文字しか入力できないためです。
ただ、結論から言うと、GPT o1が優秀という結果でした。
※ついに、、Claude3.5を超えた?!
質問1:データベースの関係演算について
私の質問:解説してください。(答え:ア)
Claudeの回答:
回答をそもそも誤っていますので0点とします。
実はこの問題は過去にも出していて、Claudeが誤るのは知っていて敢えて出してみました。(もし、o1が正解できれば優劣が付けられるためです。)
では、続いてo1見ていきます。
GPT o1の回答:
圧倒的に完璧です。
解説含めておそらく完璧な回答でした。
この時点で気持ちはo1に持っていかれています。
ちなみに実際の回答はきれいな表を使って解説してくれています。
質問2:少し長い文章問題の理解
私の質問:解説してください。(答え:ウ)
Claudeの回答:
答えは正解です。
ただ、内容は簡潔でもう一歩詳しく知りたいところです。
既に回答を知っている人が読めばわかるとは思いますが、できなかった人がこれを読んで理解できるかは疑問です。
GPT o1の回答:
まず、答えは合っています。
実際の例まで示しているところがClaudeとの違いです。
内容が具体的で初学者でも何となく雰囲気が掴めるのではないでしょうか。
個人的な評価としてはややGPTに軍配が上がる印象です。
※GPTの方がしっかり理解(生成AIの"理解"の定義は曖昧ですがここでは人間視点での定義にします)して回答しているように見えます。
まとめ
今回は速報!ということで少し駆け足で紹介いたしました。
皆さんも実際に利用して、その違いを共有してもらえたら幸いです。
ちなみに、この感じだとコーディング能力も向上していると予想しています。ゲーム制作やウェブサイトの作成などに活用してみてはいかがでしょうか。
本日は以上になります!
コメントやいいね頂けると幸いです('◇')ゞ