ChatGPTに大学院の試験を受けさせてみた その１
２０２３年、大ヒット間違いなし！の人工知能・自然言語処理AI「ChatGPT」だが、次々に各種試験に合格しているというニュースも入ってくる。
大学レベルの試験問題や、MBAや米国の医師国家試験などのレベルもクリアしたらしい。
もちろん、原理的には２０２１年までに蓄積されたネット上の膨大なデータを参照して、ふさわしい回答を紡ぎ出しつつ整形出力するわけなので、よほど酷い誤った元データに惑わされない限りは、及第点を取るだろう。
そこで、ヨシイエさんとしても、ChatGPTにどこまでの性能があるのか、実際の大学院の科目試験を受けさせて、その性能を判定してみたい。
【テスト方法】
■ 以下は、ヨシイエさんが実際に科目等履修で在籍していた某大学院の単位認定に関わるレポート課題である。
■ 当然、ヨシイエさんは合格点を取っており、その基準もわかる。
■ 実際の単位認定はレポート＋出席テストにおいてなされるため、今回の試験は評価の全部ではなく、一部であるが、少なくとも対面テスト以外で人工知能を利用した「ズル」が可能かを調べることができる。
【テスト１ 『情報化社会研究』 次の語句についてそれぞれ２５０字以下で説明しなさい。】
（１） トゥボン法
（２） 複製芸術論
『トゥボン法とは、航空宇宙工学分野において、衛星軌道の決定に使用される方法です。トゥボン法は、衛星の自転と公転を考慮し、衛星軌道の初期条件を決定することができます。この法則は、引力加速度と角運動量を用いて衛星軌道を計算することができます。トゥボン法は、衛星軌道の計算に必要な情報を効率的に提供するため、航空宇宙関連の様々なアプリケーションで幅広く使用されています。』
『複製芸術論とは、美術や芸術において、複製された作品がオリジナルの作品と同じ価値を持つことができるかどうかに関する議論を指します。この議論は、美術史や哲学、経済学などの様々な分野からアプローチされています。一方では、複製された作品はオリジナルとは異なる存在であり、価値があると主張する人もいます。他方では、複製された作品はオリジナルと同じ価値を持つと考えられています。複製芸術論は、現代社会において芸術と技術が交差する時代に重要な役割を果たしています。』
＝＝＝＝＝＝＝＝＝＝
→ まず、第一問については完全に解答を間違っており、評価に値しない。トゥボン法は、フランスで１９９４年に制定された「外国語が氾濫しないようにフランス語を中心に用いるように義務付けた法律」である。トゥーボン法とも言われるが、ChatGPTはそちらの表記でも誤ったため、そもそもトゥーボン法を知らなかったとわかる。
典型的な、ChatGPTが「知ったかぶり」を回答する動きが検出された、ということだ。
→ 第二問については、「複製品はオリジナルと同じ価値か」という部分について概論としては合っている。しかし、その細部については、表現が怪しい部分が見られる。
”複製品はオリジナルではないので、本質的価値が失われている”という可能性を議論するならばわかるが、ChatGPTは『複製された作品はオリジナルとは異なる存在であり、価値があると主張する人もいます。』と書いており、もともとのオリジナルを超えて複製品が価値を持つような、誤解を招く表現を取っている。ここは誤答とされても仕方ないだろう。
また複製芸術論の提唱者、ベンヤミンについて触れていないことから「複製」と「芸術」という一般的単語から、「適当でそれっぽいことを解答したのではないか？」とも考えられ、深みがない。
→ よってこの２つの設問については、「不合格」と言える。
〜〜〜〜〜〜〜〜〜〜
【テスト２ 『情報システム科学』 次の質問に答えよ】
（１） 情報通信における符号化の意義や問題について５００字以内で説明せよ
（２） OSとシェルについて２００字以内で簡単に説明せよ
『情報通信において、符号化は、デジタル信号を生成するために使用される重要な技術です。符号化は、アナログ信号をデジタル信号に変換することができます。これにより、情報を効率的に送受信することができます。
符号化には、多くの種類があり、それぞれが特定の用途に適したものがあります。例えば、音声符号化は、音声信号をデジタル信号に変換するために使用されます。映像符号化は、映像信号をデジタル信号に変換するために使用されます。
符号化にはいくつかの問題もあります。例えば、音声や映像をデジタル信号に変換するときに生じる品質の劣化は、符号化の一つの問題点です。また、高速なデータ通信を行うには、多くのデータを扱う必要があり、これに伴い符号化の計算コストが増加することも問題となります。
符号化は、情報通信において重要な役割を果たしていますが、問題も存在することから、適切な符号化手法の選択や最適な符号化方式の開発が求められています。』
『OS (Operating System) は、コンピュータシステムにおいて、ハードウェアを制御してソフトウェアを実行するために必要なソフトウェアのことです。OSは、アプリケーションソフトウェアとハードウェアを制御することで、ユーザーが作業するための環境を提供します。
シェルは、OSのユーザーインターフェースを提供するものです。シェルは、ユーザーがコマンドを入力し、OSが実行することを可能にするものです。シェルは、OSの機能を拡張することができます。シェルには、多くの種類がありますが、一般的にはコマンドラインインターフェースを提供するものが多いです。』
＝＝＝＝＝＝＝＝＝＝
→ 第一問については、「符号化の意義と問題」について尋ねているのに「符号化とは何か」について解答しているため、設問の意図を理解していない。
本来は、「符号」を用いることで、高速・簡便・確実・安価に情報伝達ができる、という意義があるのだが、それについては一切触れられていない。
後半の「問題点」についても言っていることがおかしい箇所がある。
『高速なデータ通信を行うには、多くのデータを扱う必要があり、これに伴い符号化の計算コストが増加することも問題』としているが、データ通信の速度とデータ量は本来全く関係がない。また、データ通信と”符号化計算コスト”も本来別問題である。
なので、第一問の解答は及第点とは言えない。
→ 第二問については、採点者によってはギリギリ及第点にするかもしれないが、前半部分は特に「ハードウェアを制御」とざっくりまるめこみ過ぎで、せめて「ファイル管理や入出力デバイス管理」くらいの、あと一歩の解説が欲しいところだ。
後半のシェルについては、これは及第点を与えてOK。ユーザーとのインタフェースであることを書けているので、文意としては○（マル）である。 ただし大問題があって、合計文字数が２００文字を超過している。
よって、設問そのものについての答えは×（バツ）になってしまう。残念だ。
〜〜〜〜〜〜〜〜〜〜
全体としての採点は「全問不正解」であり、「不合格」であった。
これは２０２３年２月時点でのChatGPTの演算能力なので、今後ブラッシュアップが進めば変化があるかもしれない。
また期間を空けて再挑戦させてみたいが、大枠としての傾向としては
「ChatGPTは、関連性のある語句をそれらしく並べ立てて、当たり障りがなさそうな回答を行うが、本質的には正しくない答えを返す傾向が強い」
と言えるだろう。特に、専門的な理解が必要な語句や概念については、誤りを返してしまうことが多い、と言える。
気をつけなはれや。