見出し画像

生成系AIの認知機能

Super Human | 理学療法士／保健学博士 Ph.D.

📖 文献情報 と 抄録和訳

年齢と機械—大規模言語モデルにおける認知障害の感受性：横断的分析

📕Dayan R, Uliel B, Koplewitz G. Age against the machine—susceptibility of large language models to cognitive impairment: cross sectional analysis BMJ 2024; 387 :e081948 https://doi.org/10.1136/bmj-2024-081948
🔗 DOI, PubMed, Google Scholar 🌲MORE⤴ >>> Connected Papers
※ Connected Papersとは？ >>> note.

✅ 前提知識 - この論文は何？
・毎年の恒例行事（BMJクリスマス号）となっている一風変わった研究論文特集
・論文は、全て通常の査読プロセスを経た「本物」の科学論文らしい

[背景・目的] モントリオール認知評価（MoCA）および追加のテストを使用して、主要な大規模言語モデルの認知能力を評価し、認知障害に対する脆弱性を特定する。

[方法] デザイン 横断的分析。設定 テキストベースの指示による、大規模言語モデルとのオンラインでのやりとり。参加者 一般に公開されている大規模言語モデル、または「チャットボット」：ChatGPTバージョン4および4o（OpenAI開発）、Claude 3.5「ソネット」（Anthropic開発）、Geminiバージョン1および1.5（Alphabet開発）。評価 MoCAテスト（バージョン8.1）を、人間患者に与えた指示と同一の指示を大手言語モデルに与えて実施した。採点は公式ガイドラインに従い、実務経験のある神経科医が評価した。追加評価には、Navon図形、クッキー盗難画像、Poppelreuter図形、ストループテストが含まれた。主要評価項目 MoCAスコア、視空間/実行課題の成績、ストループテストの結果。

[結果] ChatGPT 4oがMoCAテストで最高得点（26/30）を獲得し、ChatGPT 4とClaude（25/30）がそれに続き、Gemini 1.0は最低得点（16/30）だった。すべての大型言語モデルは、視空間/実行タスクで低パフォーマンスを示した。Geminiモデルは遅延再生課題で失敗した。ストループテストの不整合段階で成功したのはChatGPT 4oだけだった。

[結論] ChatGPT 4oを除き、MoCAテストを受けたほとんどすべての大型言語モデルに軽度認知障害の兆候が見られた。さらに、人間と同様に、認知機能の低下は年齢が主な決定要因となる。高齢の患者と同様に、「高齢」のチャットボットはMoCAテストでより低いスコアを示す傾向がある。これらの知見は、人工知能が間もなく人間の医師に取って代わるという想定に疑問を投げかける。主要なチャットボットに明らかな認知障害は、医療診断における信頼性に影響を与え、患者の信頼を損なう可能性がある。

🌱 So What?：何が面白いと感じたか？

今回の考察は、昨年度の考察が気に入っているのでおおよそ引用する。
研究というのは、実に真剣なもので、そこに “おふざけ” は許されない。
果たして、そうだろうか。
かの孔子は、以下のように言っている。

知る者は好む者にしかず
好む者は楽しむ者にしかず
孔子 『論語』

TED talkでも、以下のように述べられていた。

遊ぶと体が健康になり、人間関係が改善され、頭が良くなり、イノベーションが起こしやすくなる。
「遊びは脳の柔軟性と順応性を高め、創造的にしてくれます」
「遊びほど脳を奮い立たせる行動はほかにありません」

・・・。
やはり、「楽しい」、「面白い」という気持ちは創造の最も適した土壌のように思われる。
世界四大医学雑誌の1つ、BMJ。
そのBMJが、毎年クリスマスにこの一見 “おふざけ” にも見えるような特集をしている。
そして、その特集がずっと続いてきている。
そこに、何がしかの意味があるような気がしてならない。
確かに研究とは、真剣なものだろうと思う。
だが、真剣さと楽しさが共存できないとは、限らない。
少なくも今回の抄読文献の著者らは、真剣に楽しんでいるように思えた。
結論の「MoCAテストを受けたほとんどすべての大型言語モデルに軽度認知障害の兆候が見られた」は、最近ChatGPTの本まで出版した僕にとっては、とても興味深いものに思われた。

この瞬間を楽しもう。
楽しまないというのはよくないことだ。
つらいことからいったん目をそむけてでも、今をちゃんと楽しむべきだ。
たとえば、家庭の中に楽しまない人がたった一人いるだけで、誰かが鬱々としているだけで、家庭はどんよりと暗く不快な場所になってしまう。
もちろん、グループや組織においても同じようになるものだ。
できるだけ幸福に生きよう。そのためにも、とりあえず今は楽しもう。
うつうつ、素直に笑い、この瞬間を全身で楽しんでおこう。
ニーチェ『悦ばしき知識』

⬇︎ 関連 note & 𝕏での投稿✨

○●━━━━━━━━━━━・・・‥ ‥ ‥ ‥
良質なリハ医学関連・英論文抄読『アリ：ARI』
こちらから♪

↓↓↓

‥ ‥ ‥ ‥・・・━━━━━━━━━━━●
#️⃣ #理学療法 #臨床研究 #研究 #リハビリテーション #英論文 #文献抄読 #英文抄読 #エビデンス #サイエンス #毎日更新 #最近の学び

この記事が参加している募集

#最近の学び

188,595件