ChatGPTに大学院の試験を受けさせてみた その２
前回の記事では、人工知能・自然言語処理AIである「ChatGPT」に大学院レベルの試験を受けさせて、その結果を解析したが、
『４問とも不合格！全滅』
という、もの凄い結果に終わった（笑）
とまあ、それでは面白くないし、さすがに不甲斐ないので、、さらに問題を追加して、動向を探ろうという企画である。
おなじように、かつてヨシイエさんが科目等履修で実際に解答した別の問題を提示して、同様にチャレンジさせてみよう。
【テスト３ 『言語文化研究』 次の語句についてそれぞれ４００字以下で説明しなさい。】
（１） 本文批判
（２） 本居宣長の注釈研究
『文化的な言語において、「本文批判」は文章の構造、用語、修辞などに関連した文章の評価を行うことを意味します。これは、文章の明確性、信頼性、効果的な情報伝達などの観点から行われます。文章批判は、報告書、新聞記事、小説などの様々な形態の文章に対して行われ、その文章が期待される目的を達成しているか、修正が必要な点があるかを判断するのに役立ちます。文章批判は、より優れた文章を作成するためのフィードバックを提供することもできます。』
『本居宣長は、19世紀の日本の思想家・学者です。彼は、古典文学に関する注釈研究において重要な役割を果たしました。本居は、日本の古典文学を解釈するために、社会文化的な背景や時代的な要因を考慮することを強調しました。彼は特に、日本の文学史上重要な作品「古事記」についての注釈研究を行いました。本居は、「古事記」に登場する人物や物語に関連した歴史的な事実を整理し、文学的な意味を探求することで、この作品をより深く理解することを目的としました。本居の宣長の注釈研究は、日本の文学に対する理解を深めることに寄与し、現在も彼のアイデアは学術的な分野で引用されています。』
＝＝＝＝＝＝＝＝＝＝
→ まず、第一問についてだが、「本文批判」「本文批評」という専門用語をChatGPTは「知らない、わかっていない」ということが即時に判明する。”本文”や”批判””批評”といった一般的に用いられやすい平易な語の用例に引っ張られて「文章をただ単に評価する」という意味でしか説明していない。
正解の「本文批判・本文批評」とは『多くの写本や刊本を一字一句比較して、原本やオリジナルに当たるものはどれか？ということを探る』ことを意味する。この作業ははるか昔から各言語の写本から「聖書のオリジナルを明らかにする」といった目的で続けられており、けして新しい概念ではない。
このことからChatGPTは、「本文」や「批判」といった平易な語を適当に合体させて作文していることがわかる。
よって、この設問については不合格である。
→ 第二問については、絶妙に微妙な年代記述からはじまる。本居宣長は、１８世紀に活躍した国学者だが、１８０１年に死去しているので、「ギリギリ１９世紀」と言えなくもない。
日本の古典文学を注釈したこと、「古事記」の注釈研究をしたことなどは、正しいので、概略としては○（マル）と言える。ただ、設問は「宣長の注釈研究について説明せよ」なので、「宣長は注釈研究をしました」では、答えになっていない。より具体性的に深堀りする必要があるが、その内容が
■ 古事記について扱った。
■ 社会背景や時代的要因について考慮し、文学的意味について探求した。
という２点に集約されているのが上記解答であろう。
１つめについては○（マル）だが、２つめについては×（バツ）である。彼がやったのは一文一句を詳細に注釈することであって、実証的な文献学に近い。ざっくりと「当時のことも考慮して」といったレベルでは全くないので、「一字一句変態のように用例や語法などを舐め回した」というほうが正しい。
もちろん、最終的に「もののあはれ」などの文学的概念をまとめあげることにも成功しているので、「探求」したことは確かだが。
この第二問については採点者によってはギリギリC合格か、厳しい場合は落第といったところである。
〜〜〜〜〜〜〜〜〜〜
【テスト４ 『学校臨床社会学』 次の質問に答えよ】
人間関係上の困難への対応として、場所の提供を図ることのメリットとデメリットについて論じなさい。
『提供する場所を使って人間関係上の困難に対処することには、メリットとデメリットがあります。
メリット:
相手を受け入れることで信頼関係を築くことができます。
相手にとって安全な場所を提供することで、彼らが自分自身を受け入れられるようになります。
コミュニケーションが円滑になり、問題を解決するための話し合いがしやすくなります。
相手が支援を必要とする場合、場所を提供することで彼らが必要な支援を受けることができます。
デメリット:
場所を提供することによって、自分自身の個人的なスペースやプライバシーが侵害されることがあります。
場所を提供することによって、費用やリソースを使うことになる可能性があります。
相手が場所を使いすぎたり、不適切な行動をすることがあるため、問題が起こる可能性があります。
場所を提供することによって、他の人との人間関係に影響を与える可能性があります。
結論として、人間関係上の困難に対処するために場所を提供することは、メリットとデメリットがあり、それぞれを検討する必要があります。適切なバランスをとって、場合によっては他の解決策を検討することも重要です。』
＝＝＝＝＝＝＝＝＝＝
→ これはかなり採点するのに難儀する解答であった。大枠のイメージとしては、「トラブルがあったときに、その人にとっての居場所があることは、どんな良い点と悪い点があるか」という話なのだが、上記のChatGPTによる回答は、ピントを外しまくっているので、こちらも頭が混乱しそうになる。
まず、メリットの１は「場所」の話と無関係すぎる。２は、たしかにその面があるかもしれないが、「なぜ場所があれば自分を受け入れられるようになるのかの説明」がカットされていて、よくわからない。３についても同様で「場所があればなぜコミュニケーションが円滑になるのかの説明」がない。４についても同様で、まるで新次郎構文のようになっている。「支援が必要な人には、場所があれば支援が提供できるんですね」と言っているだけ。
デメリットのほうは、さらにひどい。１では「場所が提供されることで安心できる場の内部にいることができる」というならまだしも、「場所が提供されたら危険になる」という大変なことが起きている。２と３については○（マル）であろう。コストがかかったり、その場所に入り浸るなどのマイナスもあるだろうからだ。
４は微妙だ。場所を提供してもしなくても、他人との関係に影響が生まれることはありうるからだ。
全体を通してみると、「全部が全部間違いではないが、ちょっと何言っているかわからない」というサンドウィッチマン状態になっていることがわかるだろう。
〜〜〜〜〜〜〜〜〜〜
さて、今回の総合得点は、「部分点わずかにあり、の不合格」といったところであろう。やはり、ChatGPTに大学院レベルの深い洞察は厳しい。
海外などのレポートで、「試験に合格した」という話がたくさん出てくるのは「単純な知識について自然言語で応答する」というレベルでの話と推察してよいだろう。
「ある語」があって、その本質的な部分や意味を把握した上で、それを別の語で置き換えながら説明するようなクッションが一段階入ると、とたんに回答の質が怪しくなるのが、ChatGPTの現状だと言えるだろう。
今後の発展に期待したい。