IMMSに関する研究まとめ ID学 vol.18
熊本大学博士前期課程で履修していた「インストラクショナルデザインⅠ」の最終課題を提出した。よくいえば実践的で、これが博士前期課程の科目である必要があるのかという疑問を抱きつつ駆け抜けたというか、後半はかなり適当に課題をこなした感がある。やはりインストラクショナルデザイナーを育成するという目標があるのか、わたしの「大学院で学ぶ」という研究寄りのイメージとは異なる研修のような科目だった。たぶん、そのギャップが致命的だったんだろうな。
入学金払ってるから、1科目でやめる勇気もなく、後期にもう1科目取ります。ああ、更年期なのかしら… 最近、愚痴が多い。
IMMS調査
前回、CIS(科目興味度調査)に関する論文を概観したが、現場で測りたい、もしくは現実的に測れるのがIMMS(教材学習意欲調査)だったので、とりあえずKellerのIMMSの質問項目を教材に合わせて取捨選択、書き換えを行なってアンケートを実施した。調査規模は90名程度で十分な数を確保できたが(十分の根拠は今のところない)ざっくりいうとARCSモデルの4つのカテゴリそれぞれ5点満点のアンケートで、平均がほぼ4点以上という「まあそうでしょうね」という結果を得て「はて、これをいかがすればよろしいか」というところで夏休みに入り、2か月日本を謳歌。今になって「せっかくアンケートとったのにもったいない」と、とりあえずIMMS調査の結果を記載している研究論文や報告書を、得意のオンラインで無料のもの限定でピックアップして、結果の処理方法について考えた(順序が逆ということは指摘されなくても重々承知)。
いま書いてて気づいたけど、自己主導型の教材が対象なのね。自己主導型か… うーむ…
IMMS調査関連の論文
8本読みました(参考文献リスト参照)。すべて教育系ですが言語教育系は0本。調査規模は34〜110人、IMMSの質問項目数は16〜36項目ということで、Kellerの質問項目の和訳版をそのまま用いているもの(A)から、状況に合わせて質問数を増減させているもの(B)、③さらに質問文を書き換えているもの(C)、またCISの質問項目との混合バージョン(D)と4パターンあり、私自身の調査はCでして、そのCパターンは8本中2本でありました。
分析方法としては次の5つに整理できる。
①5件法で平均値を考察
②4件法または5件法で、直接確立計算法により有意差をみる
③探索的因子分析により因子を抽出し、因子毎に平均値を考察
④クロンバック係数をみる
⑤成績上位・下位群などの群間における有意差をみる
5件法、要するに質問項目に対する選択肢が5つということで「強くそう思う」「全然そう思わない」間の5段階評価、これはKellerの設計通り(①)。4件法はその4段階バージョンで、ここでは評価1と2を否定的回答、評価3と4を肯定的回答として人数集計し、クロス表を作成して分析しています(②)。「平均値をみる」というと「ふーん、なんか高いっぽいね」とか「ふーん、なんか4が並んでるけど、コレだけ3で低そうだね」とか、なんか心許ないわけですよ。ほんとに低いといえんのか?というところに疑問が出るわけですね。そこで有意差(ほんとに低いといえんのか?そこに差はあるのか?!)を確認するためには直接確率計算法が使えるのだな、ということがわかりました。さて、この直接確率計算法をさらっとググるとですね、カイ二乗検定と同じなんだそうです。ただ、期待値(クロス表のセルの数字)が10未満の場合は直接確率計算法を用いるといい、という理解。ここで「t検定は実際に意味を持つ数、カイ二乗検定は名義尺度に使うんじゃなかったっけ?」という修士課程で場当たり的に勉強したポワンとした知識が頭をもたげてきて、人数って名義尺度なの…?と混乱。
混乱したままだけど、いいの。だれもt検定を使っていないんだから、t検定じゃなくて直接確率計算法(またはカイ二乗検定)なのです、間違いない。そこは必要に迫られたらもう一度調べるとして。
探索的因子分析は、ひらたくいえば、各項目がもつ共通要素を抜き出して、その要素をもって整理(カテゴリ化)説明するという分析(だと思うの)だけど、すでに各質問項目がARCSにカテゴライズされているので、実施する目的がよくわからなかった。むしろ3つの因子が抽出された点が、ARCSの4つと矛盾していておもしろい(③)。
クロンバック係数もよく聞くけど実はよくわからなくてググりましたよ。信頼係数といったほうがよりわかりやすいんだけど、質問に対する回答の分散(ばらつき)をみる係数なので、質問項目の妥当性の担保ならわかるけど、ばらつき具合で教材の効果を論じるというところがちょっとわからなかった(④)。群間の有意差をみるのもいいけど(⑤)、わたしはそもそもはじめに群分けしてないからできない(学生の専攻で分けられるけど、有意差がないのはそれこそ平均値だけみて一目瞭然)。
まとめと参考文献リスト
とりあえずおもしろかったけど、自分の調査結果の処理としては平均値を見て考察するくらいが関の山か… やっぱりちゃんと目的と計画を立てて行動するのが大事。ただ同時に、研究って(統計って)やっていかないとどんどん忘れていくんだと実感。