[備忘録] 多相ラッシュモデル

サノリョウ

ラッシュモデルはカテゴリデータをもとに、項目の困難度を推定する手法。解答者の能力の関数として示す。

古典的テスト理論(Classical Test Theory: CTT)

構成概念の妥当性・信頼性を検討する理論。測定得点を真の得点$${\tau}$$と誤差$${\epsilon}$$の和で考える。ただし真の得点とは、操作可能な概念であり、同一人物が同一条件で同じ項目に無限回繰り返して回答した際の期待値である。すなわち測定の対象者$${i}$$に対する、$${k}$$回目のテストの得点を$${x_i}$$とすると、
$${\tau_i = E(x_{ik})}$$
と表せる。このためCTTではテストの得点は以下のようになる。
$${x_{ik} = \tau_i + \epsilon_{ik}}$$

項目反応理論(Item Response Theory: IRT)

古典的テスト理論で扱う合計得点には以下のような問題が存在する。

  • 項目の難易度の影響を受ける

  • 被験者の能力が影響を与える

  • 項目の特性（配点など）が影響を与える

  • 異なるテスト間の相互比較ができない

以上のような問題点の解決のために、項目の困難度などの特性と被験者の能力をそれぞれ独立に同一の潜在特性尺度で考える手法がIRTである。項目の特性は、その尺度値と正答確率の関係を示す項目特性曲線で記述される。またそれぞれの項目に正答する確率は互いに独立である。（ある項目での正誤が他の項目の正誤に影響しない）

以下のような要件が求められる。

  • 大規模なサンプルが必要

  • 項目特性の推定のための項目か被験者の能力の推定のための項目かは被験者に非開示する必要がある

  • 項目の困難度などの項目特性は被験者が事前に知っていれば変化するため、項目そのものも非公開にしなくてはならない

  • 多様な難易度・特性を持った項目が相当数必要

  • 項目は全て互いに独立であることが必要

  • 回答尺度が2値などの名義尺度である（必然的に選択式の項目になる）

項目特性曲線

項目特性には以下の2つの特性がある。

  • 困難度

    • 被験者の能力の大小によって正答率は変化するが、正答へ傾く点がどこかを示す指標。正答確率vs被験者の能力の曲線の位置に対応する。正答率が50%となる能力値で指標化される。

  • 識別力

    • 能力の低い被験者と高い被験者をどのくらいよく区別するかの指標。正答確率が50%となる点での曲線の傾きでし評価される。（傾きが大きい程よく識別できる）

ラッシュモデル

ラッシュモデルはIRTの一種であるが、項目の識別力は等しいという条件の上で項目の困難度のみを推定する。項目の対する応答が2値だった場合に使用できる。被験者の能力と項目の困難度をロジステイック関数で定義したモデルである。被験者$${j}$$が項目$${i}$$に正答する確率は以下の式で表される。

$$
P_{ij} = \frac{exp(\theta_j - b_i)}{1 + exp(\theta_j-b_i)}
$$

ここで$${\theta_j}$$は被験者$${j}$$の能力を、$${b_i}$$は項目$${i}$$の困難度を表す。

部分採点モデル(Partial Credit Model: PCM)

各項目における評価尺度の大きさの違いなどを考慮できる。被験者$${j}$$が項目$${i}$$について、カテゴリー$${k \in \{1 \dots K\}}$$と応答する確率は次式で表される。

$$
P_{ijk} = \frac{exp\sum_{m=1}^k(\theta_i - \beta_{im})}{\sum_{l=1}^{K}exp\sum_{m=1}^{l}(\theta_j - \beta_{im})}
$$

ここで$${\beta_{ik}}$$は項目$${i}$$において、カテゴリー$${k}$$から$${k-1}$$に遷移する困難度であり、ステップパラメータと呼ばれる。

多相ラッシュモデル

3相以上のデータを扱う際に使用。ただしデータは2値である。評価に関わる複数の相の考慮ができ、それらの交互作用を調べることもできる。外部の要因である$${\beta_k}$$が存在するとき、項目$${i}$$について被験者$${j}$$のパフォーマンスに、要因$${k}$$がポジティブな影響を与える確率は次式で表される。

$$
P_{ijk} = \frac{exp(\theta_j - b_i - \beta_k)}{1 + exp(\theta_j - b_i - \beta_k)}
$$

Common Stepモデル

多相ラッシュモデルを多値データで扱う場合のPCMを用いた応用手法。全ての項目の識別力が等しく、被験者の評価の一貫性が等しいと仮定される。

$${d_k}$$をその項目でカテゴリー$${k}$$から$${k-1}$$に遷移する困難度とした時、要因$${r}$$について、項目$${i}$$で被験者$${j}$$がカテゴリー$${k}$$を与えるように作用する確率を以下のように表す。

$$
P_{ijkr} = \frac{exp\sum_{m=1}^{k}(\theta_j - b_i - \beta_r - d_m)}{\sum_{i=1}^K exp\sum_{m=1}^{l}(\theta_j - b_i - \beta_r - d_m)}
$$

ただし、$${\beta_1=0, \, d_1 = 0}$$と仮定する。

参考

パフォーマンス評価のための項目反応モデルの比較と展望, 宇都 雅輝, 植野 真臣, 日本テスト学会誌 Vol.12, No.1 55 - 75 [http://www.ai.lab.uec.ac.jp/wp-content/uploads/2019/02/bcf46be324ffc697247dad386c7e51ca.pdf]

この記事が気に入ったらサポートをしてみませんか？