How AI Responds to Common Lung Cancer Questions: ChatGPT vs Google Bard

https://pubs.rsna.org/doi/full/10.1148/radiol.230922

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は何ですか？
- 最近、ChatGPTやGoogle Bardといった大きな自然言語モデルが公開され、潜在的な利点と課題が開かれた。
- 本研究では、肺がんの予防、スクリーニング、および放射線診断報告書で一般的に使用される用語に関する非専門家の質問に対して、ChatGPT-3.5やGoogle Bardなどの公開された自然言語処理ツールがどの程度正確かつ一貫した回答を提供するかを評価することを目的としている。

2. 本研究の目的及び学術的独自性と創造性は何ですか？
- ChatGPT-3.5やGoogle Bardのような自然言語処理ツールの利用を評価し、医学的な質問に対する回答の正確性と一貫性を比較することを目的としている。
- モデルの訓練データに医療専門家の意見を取り入れることが、回答の正確性を向上させるために必要であることを示唆している。

3. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは何ですか？
- 近年、自然言語処理や機械学習を用いた医療分野への応用が進んでいる。
- 本研究は、医療分野における自然言語処理ツールの正確性と一貫性を評価することにより、その利用上の限界を明らかにすることを目指している。

4. 本研究で何をどのように、どこまで明らかにした？
- 本研究では、ChatGPT-3.5やGoogle Bardなどの自然言語処理ツールが医学的な質問に対してどの程度正確で一貫性がある回答を提供できるかを検証している。
- 結果は、ChatGPT-3.5が最も正確で一貫性がある回答を提供する傾向があることが示されたが、医療専門家の判断を取り入れることが回答の正確性を向上させるために必要であることも示唆された。

5. 本研究の有効性はどのように検証した？
- 本研究により、ChatGPT-3.5とGoogle Bardなどの自然言語処理ツールの回答の正確性と一貫性を評価し、その利用上の限界を明らかにすることができた。
- 医療専門家の判断を取り入れることが、回答の正確性を向上させるために必要であることが示唆された。