Photo by
tomekantyou1
Chat GPT3.5と4.0で正答率を比較してみた。
Introduction
昨今、生成AIが今の仕事を変革する。産業革命以降の最大の革命だ！との声を聴くようになってから久しいですね。小職も「社会保険労務士」ですので、生成AIを利用する機会は多くなってきました。でも、自分で実験したことがないことに気づき、元研究者の端くれとして、自分なりに検証してみました。
Discussion
無料で提供されている「Chat GPT3.5」と有料で提供されている「Chat GPT4.0」（以下、3.5、4.0）を利用した。
設問は、『「〇〇」の問題を解いてくれませんか？』と入力して解答してもらった。
問題は、昨日、10/1にアップロードしました2022年の健康保険法（略称、以下同じ）の問題。
第５４回社会保険労務士試験 択一式（健康保険法 問１から10）
Let us try!
健康保険法問1
これを問１から10を「Chat GPI3.5」で行ったあと、「Chat GPI 4.0」でおこなった。
Conclusion
問1 3.5 × 4.0 ×
問2 3.5 × 4.0 ×
問3 3.5 × 4.0 ×
問4 3.5 × 4.0 ×
問5 3.5 〇 4.0 〇
問6 3.5 × 4.0 ×
問7 3.5 × 4.0 ×
問8 3.5 × 4.0 ×
問9 3.5 × 4.0 ×
問10 3.5 × 4.0 〇
3.5は正答数は、1/10
4.0は正答数は、2/10
なので、ほとんど変わらなかった。