ChatGPT4.0が日本の理学療法士国家試験に挑戦
📖 文献情報 と 抄録和訳
理学療法士国家試験におけるChatGPT4.0のパフォーマンス： テキストとビジュアル問題処理の総合分析
📕Sawamura S, Kohiyama K, Takenaka T, et al. (August 20, 2024) Performance of ChatGPT 4.0 on Japan's National Physical Therapist Examination: A Comprehensive Analysis of Text and Visual Question Handling. Cureus 16(8): e67347. https://doi.org/10.7759/cureus.67347
🔗 DOI 🌲MORE⤴ >>> Not applicable
[背景・目的] OpenAIが開発した大規模言語モデル（LLM）であるChatGPT 4.0は、日本の医師国家試験やその他の医学的評価に合格する能力を実証している。しかし、画像ベースの問題や様々なタイプの問題が性能に与える影響については十分に検討されていない。本研究では、（日本の）理学療法士国家試験におけるChatGPT4.0のパフォーマンス、特に画像や表を含む複雑な問題への対応能力を評価した。また、リハビリテーション分野での可能性と日本語入力での性能も評価した。
[方法] 第54回から第58回までの理学療法士国家試験から1,000問を使用し、一般問題160問と実技問題40問で構成した。すべての問題は日本語で入力され、画像や表などの付加情報が含まれていた。ChatGPTによって生成された解答は、公式の正解と比較された。分析 ChatGPTの性能は、フィッシャーの正確検定、Aタイプ（1つの正解）とX2タイプ（2つの正解）、テキストのみの問題と画像や表を含む問題、スチューデントのt検定による問題の長さの違いなど、様々な基準で正確率を評価した。
[結果] ChatGPT4.0は73.4%の総合的な正確さで合格基準を満たした（日本の理学療法国家試験は総得点の60%が合格基準）。一般的な問題の正解率は80.1%、実践的な問題の正解率は46.6%だった。Aタイプ(74.3%)とX2タイプ(67.4%)の問題の正答率に有意差は見られなかった。しかし、文字のみの問題（80.5%）と画像や表を用いた問題（35.4%）の間には有意差が認められた。
[結論] この結果から、ChatGPT4.0は国家試験の合格基準を満たし、十分な知識と応用力を備えていることが示された。しかし、実践的な問題や画像・表を用いた問題での成績は低く、改善すべき点がある。また、日本語入力に対応していることから、非英語圏での利用が期待される。
🌱 So What?：何が面白いと感じたか？
「ChatGPTが〇〇試験に合格！」という記事の見出しを、何度か見たことがあるだろう。
例えば、以下の記事のように。
✅ ChatGPTが米国医師国家試験で医学部生に勝利
スタンフォード大学の研究者らによる新たな研究で、ChatGPTが米国医師免許試験（USMLE）における難易度の高い臨床試験問題において、医学部の1・2年生よりも高いスコアを出したことが明らかになりました。
凄いことだ、凄いことなのだが、親近感が湧きにくかった。
なぜなら、具体的にどのような問題なのかを知らないし、解いたこともなかったから。
だが、今回の抄読研究は、まさに僕も受けてきた理学療法士の国家試験に合格するか、を調査している。
試験内容のイメージ、難易度の肌感、わかっている。
その国家試験に、ChatGPT4.0は見事合格した。
学生は、少なくとも最終学年の1年間は、国家試験に向けて勉強をしている（差はあれど）。
その理学療法士の国家試験に、労苦もなく合格できるChatGPT・・・。
僕たちは、ここに“対抗”してはいけない気がする、そう、“協調”していかないと。
人工知能をどう使うか、に頭を使いたい。そうでなければ、僕たちが人工知能に使われる側になってしまうかもしれない。
⬇︎ 関連 note & 𝕏での投稿✨
📕ChatGPT4.0が日本の理学療法士国家試験に挑戦
— 理学療法士_海津陽一 Ph.D. (@copellist) August 22, 2024
・2019年~2023年までのPT国家試験🇯🇵
・ChatGPT4により回答を生成
ChatGPT4.0は,
🔹総合点『73.4%』で合格基準を満たした❗️
🔹文字のみの問題は得意(80.5%), 画像や表を用いた問題は苦手(35.4%)
PT国家試験だと難易度の肌感が分かりますね, ChatGPT凄し😲 https://t.co/0KhHJW4ZuN pic.twitter.com/fEvdx7fwVi
○●━━━━━━━━━━━・・・‥ ‥ ‥ ‥
良質なリハ医学関連・英論文抄読『アリ：ARI』
こちらから♪
↓↓↓
‥ ‥ ‥ ‥・・・━━━━━━━━━━━●
#️⃣ #理学療法 #臨床研究 #研究 #リハビリテーション #英論文 #文献抄読 #英文抄読 #エビデンス #サイエンス #毎日更新 #最近の学び