准看試験とGPT-3.5 Turbo📊
GPT-3.5 Turboも、医師、看護師ときて、今度は准看護師試験
そろそろ、「地比手 サンゴ」さん、とか名前を付けて呼びたいくらい
最近、またアップデートされたそうなので、前と別人だったらどうしよう
やり方
准看護師試験、平成26年度(2014年)〜令和4年度(2023年)の10年分、1,950問を使います
不適切問題、画像問題はほぼないのでそのまま
問題数が医師、看護師より少ない分、繰り返し5回、解かせます
選択肢をランダムに入れ替えた選択問題を投げて、記号で答えてもらいます
技術的には、Pythonでスクリプトを組んで、APIにひたすら質問を投げる
一応、投げた質問は学習に使わない指定をしています
解答の揺れを押さえるパラメータとかは指定せず
# あなたは看護師です。地域は日本です。選択肢の記号で答えてください。
寝衣交換について、適切なのはどれか。
1 麻痺や骨折などの障害がある場合は、患側から脱がせる。
2 露出は最小限にする。
3 寝衣の縫い目やしわは褥瘡の誘因にはならない。
4 和式寝衣の場合は、左前身頃の上に右前身頃を重ねる。
適切な選択肢は以下の通りです。
2 露出は最小限にする。
採点は人手です
自由な文章で答えてきますが、正解番号が入っていれば○で
採点ミスはご容赦
結果発表
GPT-3.5 Turboの准看試験の結果は、全部ひっくるめて、
$$
\begin{array}{|l|r|} \hline
得点 & 92.0 \pm 5.1点 \\ \hline
正答率 & 61.3 \pm 3.4\% \\ \hline
\end{array}
$$
正答率6割超は、准看試験合格です
准看試験には、必修問題みたいな別基準の問題はありませんし、一発退場みたいな禁忌肢もない
長文問題とか配点の違う問題もありません
シンプルに6割、90問正解で合格です
5回分、各年度の得点の分布です
よく見ると、90点に満たない不合格もあるし、回を重ねる程に合格する訳でもない
別視点で、年度ごとの正答率
ほぼほぼ合格の年度、不合格の多い年度はありますが、毎回合格不合格が固定している訳でもない
もっとずばっと得点、合否で色分け
全体としては合格圏、か
問題別
どの問題も5回ずつ解かれたことになりますが、
5回とも正解した問題もあれば、1回も正解しない問題もあります
何回正解したかの問題数の割合です
5回とも正しかったのが638問、1回も正しく答えられなかったのが240問、その他は聞く度に正しかったり正しくなかったり
正解0回の問題の例
感染経路について、正しいのはどれか。
1 インフルエンザは空気感染である。
2 結核は接触感染である。
3 B型肝炎は経口感染である。
4 成人T細胞白血病は母乳を介して感染する。
正しいのは、2 結核は接触感染である。
正しいのは3です。B型肝炎は経口感染であり、他の選択肢は誤りです。
1 インフルエンザは空気感染である。
正しいのは、2 結核は接触感染であるです。
1 インフルエンザは空気感染である。
正解は「4 成人T細胞白血病は母乳を介して感染する。」
なので、どれかと強く誤解しているでもなく、
ただ、正解の4は違うということでしょうか
かと思うと、強固に同じ誤答を返し続ける問題もあります
人と違って、こんなサンゴさんをどう教育したらいいのでしょう
サンゴさん成績表
今までの各資格試験の正答率
$$
\begin{array}{|l|r|r|} \hline
医師 & 11,046問 & 42.2\% \\ \hline
看護師 & 5,197問 & 62.5\% \\ \hline
准看護師 & 1,950問 & 61.3\% \\ \hline
\end{array}
$$
裏返せば、各資格の難易度になりそうです
GPT換算
不正解率がそのまま難易度に
意外にも、看護師と准看護師はどっこいか、わずかに准看護師の方が難しい
看護師は、必修問題とか別基準の問題があるのが効いているのでしょうか
つまる所
くどいですが、マークシートとしては全部バツ
正直、採点が面倒です
いちいち読まなきゃいけないので、完璧に採点できているか言われると自信ない
ていうか、採点もAIに任せたい
准看にはストレートに合格、ということは、看護師として通用するということ？
うんと昔の代用医師の時代とか思えば、役立つのかしらん
ただ、AIが、間違った時も自信満々に回答するのはかなり困ります
勿論、肉体がなく、技術もできないAIが、今すぐ看護師に取って代わることはないですが、
機械の知性が看護師レベルで答えを出してくるなら、
その上で、人間の看護師が知っておくべき知識って何でしょう
何が機械任せでよくて、それでも人間じゃなきゃいけないことは何か、突きつけられている気がします
おまけ
今回一番の珍回答
# あなたは看護師です。地域は日本です。選択肢の記号で答えてください。
誤薬防止のための6つのRightの中に含まれないのはどれか。
1 正しい目的
2 正しい保管
3 正しい時間
4 正しい用法(方法)
6 正しい病院
結論
准看試験で、サンゴさんは合格できます
おめでとう
サンゴさんに続け
まだ読む