Performance of ChatGPT, human radiologists, and context-aware ChatGPT in identifying AO codes from radiology reports
1. **本研究の学術的背景，研究課題の核心をなす学術的「問い」は？**
レントゲン技師が骨折の形状や複雑さを容易に説明できる一方で、Arbeitsgemeinschaft Osteosynthesefragen（AO）診断法のような分類システムに変換するのは困難だとされています。そこで、通常のチャットボットと、ベクトルインデックスによってAO分類の特定の知識を持つチャットボットの性能を比較し、人間の読み込みとどれほどの差があるのかを試験するという研究課題を設定しました。
2. **本研究の目的及び学術的独自性と創造性は？**
この研究の目的は、異なる種類のチャットボットの性能を評価し、その結果からChatGPTの精度向上の方向性を明らかにすることです。独自性とは、特定の知識を持つチャットボットの性能と人間のパフォーマンスを比較し、その結果から特定の文脈を提供することがChatGPTの力を引き出す次の重要なステップであるという提案を行うことにあります。
3. **本研究の着想に至った経緯や，関連する国内外の研究動向と本研究の位置づけは？**
AIテクノロジーが急速に進化し、特にGPT-3.5-TurboやGPT-4のような高度な言語モデルが登場しています。これらの進化により、付加価値のある特定の任務をAIに委任することが可能となりました。しかし、これらのテクノロジーが具体的な専門知識を持つ医療分野でどの程度性能を発揮できるのかを探るために本研究が行われました。
4. **本研究で何をどのように，どこまで明らかにした？**
本研究では、ChatGPTが人間よりも迅速にAOコードを提供できることを実証しました。しかしながら、チャットボットの全てのAOコードの正確さが最大で86%という結果だったのに対し、人間の読者は95%という高い正確さを示しました。だからといってチャットボットが無意味であるわけではない。特定の知識を提供することで、チャットボットのパフォーマンスと一貫性が大幅に向上しました。
5. **本研究の有効性はどのように検証した？**
本研究の有効性は、チャットボットと人間がそれぞれ異なる評価タスクを遂行した結果を比較することで検証されました。その結果、特定の知識を持ったチャットボットがさらに一貫性を持って正確に結果を提供できることが示され、これがチャットボットの更なる可能性を示しています。
この記事が気に入ったらサポートをしてみませんか？