こんにちは、理系大学生のららです。
突然ですが皆さまは勉強にAIを活用しているでしょうか?
ハルシネーションもあり活用には消極的な方も多いかもしれません。
私はこれでもかというぐらいchatGPTやPerplexityなどを使い倒しており、周りの学友も同じようなものです。
さて、今回は我々大学生の味方「chatGPT」の精度を令和6年度法務で試してみましょう。
まずは何点取るか予想してみよう
さて、まずはchatGPTが何点取るか予想してみましょう。
私の予想は80/100です。
chatGPTは大規模言語モデルがベースになっており、情報の正誤に関わらず様々な情報を収集して学習しています。
そのうえで人間が好むように追加学習をして成り立っているAIですので、情報制度自体はそれほど高くないのでは?と予想します。
プロンプトについて
GPT‑4oを用い、問題文を入力し解答を出力させます。
また、下記の条件を指示しています。
日本で定められられる法律に則って解答すること。
解答過程は必要ない。答えだけを出力すること
また、第3問に関しては表が含まれていたため工数削減のため画像にて読み込ませました。
結果
さて、さっそく結果発表といきます。
結果、chatGPTの点数は76点でした。
う~ん、ピタリ賞ならず。
間違った解答を見てみよう!
ではさっそくchatGPTが間違えた問題についてどのような解説を行うのか見ていきましょう。
第7問設問1【正答:イ chatGPT:ウ】
chatGPTに詳細に解説するように指示しました。
下記がchatGPTの解答になります。
シンプルな知識ミスでしたね。
特別支配株主は総株主の議決権の10分の9以上を保有する株主のことです。
この問題は本番でも解ける人と解けない人が明確に分かれた問題ではないでしょうか?
第22問【正答:イ chatGPT:ウ】
次は景品表示法の問題です。
こちらも詳細に解説するよう指示しました。
おおっと、なんか面白い解説が出てきましたね…
なんとすべて誤りとしたうえでウが正答だと主張しています。
正しい答えはイとなります。
ちなみにですが、令和5年10月1日からステマ規制が景品表示法違反となっています。
その情報がインプットされていないがゆえに出力されたミスですね!
生成AIは長所・短所を理解したうえで使おう
chatGPTは便利な生成AIですが、情報の正確ではない可能性があります。
情報検索を行う際はソースを示してくれるperplexityの方が有用かもしれません。
生成AIは便利ですが、短所やリスクを認識したうえで利用することが大切です。