国試のトークン数📊
AIの実力を測るべく、先に医師国試、看護師国試、准看護師試験を解いてもらいました
GPT-3.5 Turbo、サンゴさん
サンゴさんの課金はトークン単位
問題に答えるのと一緒に、何トークン消費したかも教えてくれます
トークン
トークンは、テキストの最小単位
英語なら、英単語がほぼ1トークン
日本語なら、漢字1文字で複数のトークンになったりするそう
文字数と違って、少し意味に寄せた感じ
例えば、
文字数なら150文字ですが、トークン数だと214トークンになります
トークン数の方が、検査データとか記号とか、ごちゃごちゃ入った問題文を、うまいこと意味を汲んだ分量にしてくれないか
という期待を込めて、国試の特徴を見てみます
対象
前にGPT-3.5 Turbo、サンゴさんに解いてもらったやつ
医師国試、95回(2001年)〜117回(2023年)の23年分、11,140問
看護師国試、92回(2003年)〜112回(2023年)の21年分、5,250問
准看護師試験、平成26年度(2014年)〜令和4年度(2023年)の10年分、1,950問
トークン数はその時の副産物です
長文の連問は、やり取りを重ねて質問したので、トークン数が跳ね上がります
准看試験には連問や長文問題はありません
トークン数分布
まず、長文問題以外の国試問題のトークン数
$$
\begin{array}{|l|r|r|l|r|r|} \hline
資格 & 問題数 & 平均 & & 最小 & 最大 \\ \hline
医師 & 9,990問 & 283.6 & ±165.7 & 73 & 1022 \\ \hline
看護師 & 3,930問 & 148.6 & ±53.6 & 66 & 461 \\ \hline
准看護師 & 1,950問 & 184.7 & ±44.8 & 86 & 374 \\ \hline
\end{array}
$$
ヒストグラムと箱ヒゲと生分布は、こう
意外と准看護師の問題が長めなのと、医師は長い方はどんどん長いけど、ピーク自体は准看護師より短いくらい
最小トークン問題
医師の最小トークン問題、73トークン
看護師の最小トークン問題、66トークン
准看護師の最小トークン問題、86トークン
最大トークン問題
医師の最大トークン問題、1022トークン
看護師の最大トークン問題、461トークン
准看護師の最大トークン問題、374トークン
連問
長文問題は連問なので、前のやり取りを含めて次に質問しています
なので、質問のトークン数がどんどん増える
正味のトークン数は、連問を1まとまりとして勘定しました
$$
\begin{array}{|l|r|r|l|r|r|} \hline
& 連問数 & 平均 & & 最小 & 最大 \\ \hline
医師3連問 & 230セット & 1161.0 & ±276.4 & 586 & 2054 \\ \hline
医師2連問 & 230セット & 902.6 & ±243.6 & 448 & 1716 \\ \hline
看護師3連問 & 433セット & 852.6 & ±180.0 & 495 & 1378 \\ \hline
看護師2連問 & 9セット & 686.3 & ±140.1 & 511 & 903 \\ \hline
看護師1連問 & 3セット & 519.0 & ±49.8 & 464 & 561 \\ \hline
\end{array}
$$
看護師の1連問は悩むとこだけど、長文はあるので
ヒストグラムと箱ヒゲと生分布
3連問が長くなるのは当然
でも医師の方が看護師より長いのは言えそう
どんな問題かは省略
興味のある方は、ぜひドリルで
$$
\begin{array}{|l|l|l|} \hline
& 最小 & 最大 \\ \hline
医師3連問 & 100\text{C}10〜12 & 110\text{G}66〜68 \\ \hline
医師2連問 & 96\text{F}47〜48 & 116\text{E}45〜46 \\ \hline
看護師3連問 & 93午後64〜66 & 109午後100〜102 \\ \hline
看護師2連問 & 107午前119〜120 & 106午後115〜116 \\ \hline
看護師1連問 & 107午後120 & 111午後120 \\ \hline
\end{array}
$$
年(回)別
国試1回分の総トークン数
そもそも問題数も試験時間も違うのであれですが、
医師の毎年の総トークン数は看護師の3倍くらいある
准看護師は看護師の半分くらい
多いほど、沢山読まされる
どの資格も、年によって大きく変わったりしないのは、試験時間が決まってるせいでしょうか
その点、医師国試は、第112回(2018年)に問題数が500問から400問に減って、総トークン数もちょっと減ってます
が、3日間の日程が2日間に短縮した割には変わらないような
$$
\begin{array}{|l|r|} \hline
& 試験時間 \\ \hline
医師(2018年以降) & 820分 \\ \hline
医師(2017年以前) & 920分 \\ \hline
看護師 & 320分 \\ \hline
准看護師 & 150分 \\ \hline
\end{array}
$$
読む分量
トークン数を試験時間で割って、1分当りのトークン数にしてみました
問題を読まなきゃいけないスピードの目安になるでしょうか
どの資格も大体似た感じ
人間が読む以上、読めるスピードの限界はある
ただ、グラフからは、年と共にじわじわ増えてる気もするし、
准看護師だけは、分量を減らしてるようにも見えます
英語ネイティブの読解スピードが200〜250単語/分だそう
英単語が1トークンなら、国試が200トークン/分なのは理解できそうな
一方、日本語の文字だと、我々ネイティブは600字/分で読めてるらしい
漢字が複数トークンになる話からすると、国試は随分ゆっくり?
矛盾
医師国試ブロック別
医師国試はブロックが多くて、問題区分の内訳が違ったり、ブロックで個性があります
もう少し詳しく、医師国試が500問から400問になって、ブロック数が9ブロックから6ブロックになった第112回(2018年)以降で見てみます
各ブロックのトークン数
色が重なって見にくいですが、毎年あまり変わらないことが見れれば
ブロックによって問題数や試験時間が違うので、単純な多い少ないは言えません
AとDのブロックでトークン数が多いのは、問題数の多さが効いてる感じ
1分当りのトークン数
大体一緒、ということは、求められる読むスピードはそう変わらない
でも、やっぱりAとDがやや高め
どちらも試験日午前で頭が元気だからいいのか
おわり
資格によって1問のトークン数は違うし、1回の国試で解かなきゃいけない量は違うけど、読むスピードはあんまり変わらない
ただ、医師は、問われる量も多いし、長時間読み続ける持久力も求められます
配点のコスパもだけど、分量のタイパも大事?
まだ読む
この記事が気に入ったらサポートをしてみませんか?