まずは手始めに、私の専門である知的財産分野でChatGPTに新しく搭載されたGPT-4の実力を試しました。Google Patentsで検索可能な検索式を作成するというお題です。
比較のためにGPT-3.5の結果も載せましたが、GPT-4の方が説明が親切になっていることが分かります。検索式も類義語がORで書かれているなど、より網羅的になっています。
次に、弁理士試験の短答式試験の問題を解かせました。
質問:
GPT-4の回答:
これ正解だと思いますが、解説が素晴らしいですね。
次に、GPT-3.5で苦手としていた数学の問題を解かせてみました。
GPT-4の回答:
まじか・・。以前は簡単な計算も出来なかったのに、かなり詳細に説明していることが分かります。(1)の計算は合ってました。(2)は予備校の解答とは異なるようですがどうなんでしょう。
大学入試レベルは解けそうなので、大学院入試の問題を解かせてみました。
GPT-4の回答:
絶句。さっぱり分かりません。人間超えてます笑。