ChatGPT and Bard exhibit spontaneous citation fabrication during psychiatry literature search

https://www.sciencedirect.com/science/article/abs/pii/S0165178123002846

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は何ですか？
本研究の学術的背景は、大量のテキストから情報と言語使用のパターンを学んだニューラルネットワークによる大規模言語モデルであるChatGPTが、文献検索プロセスを補完する正確な参考文献を生成できるかを評価することです。

2. 本研究の目的及び学術的独自性と創造性は何ですか？
本研究の目的は、ChatGPTの性能を評価することです。ChatGPTは、人間のクエリに会話形式で応答する大規模言語モデルです。本研究での独自性は、会話形式で応答する言語モデルを用いた参考文献生成の評価に焦点を当てた点にあります。

3. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは何ですか？
本研究の着想は、ChatGPTの性能評価を通じて、大規模言語モデルによる会話形式での参考文献生成の課題に関する理解を深めることにあります。今後、応答形式でのタスクに関する大規模言語モデルによる研究が進展することが期待されます。

4. 本研究で何をどのように、どこまで明らかにした？
本研究では、ChatGPTによる文献検索の正確性を評価し、ランダムなクエリに対してChatGPTが生成する参考文献の正確性を調査しました。その結果、ChatGPTは適切で正確な参考文献を生成できるにもかかわらず、間違った参考文献を生成することがあることがわかりました。

5. 本研究の有効性はどのように検証した？
本研究では、ChatGPTが生成するランダムなクエリに対して生成される文献の正確性を評価しました。その結果、ChatGPTは適切で正確な参考文献を生成できるにもかかわらず、間違った参考文献を生成することがあることがわかりました。これは、会話形式でのタスクにおいて、人工知能システムが誤らないことを確認する必要性を示しました。