【読書メモ】信頼性と妥当性の関係性はどのように考えれば良いのか？：『心理尺度構成の方法 基礎から実践まで』（小塩真司編）
『心理尺度構成の方法 基礎から実践まで』の５章では心理尺度における信頼性について、６章では妥当性についてそれぞれ解説されていました。どちらも単独で読むと理解できるのですが、いざ尺度開発論文で信頼性と妥当性について文章で初めて書こうとした時に頭の中が混乱しました。どうやらこのように両者を混同するのは私だけではないようで、本書の７章では「信頼性と妥当性の相互関係」というタイトルで両者の違いについて解説してくれています。
内的整合性と内容妥当性
なぜ信頼性と妥当性がこんがらがってくるのでしょうか。端的に言えば、信頼性の一側面である内的整合性と妥当性で一つの観点を形成する内容妥当性という二つを正しく理解することが必要なようです。
両者の関係性を理解する上で７章にある例示がわかりやすいので以下に引用します。
例えば、文末が「〜と思う」で終わる複数の項目を作成したとする。作成したいずれの項目についても、対象とする構成概念に関する項目反応を回答者から引き出しうる項目内容を備えている。このような諸項目を使って得られた回答データから算出された項目間の相関係数には、構成概念に関した項目反応に由来する相関関係だけでなく、「〜と思う」という文章の形式に関した項目反応に由来する相関関係が項目間に想定される。このような場合には、高い内的整合性を得られる見込みはあるものの、系統誤差によって内容妥当性が損なわれた心理尺度が構成されていることになる。
内的整合性と内容妥当性の両者について具体例で解説してくれるのは初学者にとって大変ありがたいものです。内的整合性の一つの指標であるクロンバックのα係数を担保しようとして複数の項目で似たような表現を用いすぎてしまうと、それである概念を妥当に測ることができているのかあやしくなってしまうということです。
諸項目の内容が類似することで、内的整合性は向上するものの、項目内容に対象とする概念を反映する範囲が狭くなり、内容的妥当性は限定的なものとなりうる。
難しいものですね。とはいえ、尺度開発するということは、少なくともこの両者のバランスをとったものを作成することが求められるのです。
測定項目の広さと質のトレードオフ
心理尺度で扱う概念を、どこまで広くできるのか、どこまで深く質を高められるのか、という二点はトレードオフにあると言われます。
心理尺度が取り扱う構成概念の範囲を幅広く設定した心理尺度では、広い範囲の外部基準と関連を持ちうる。一方で、範囲を狭く設定した心理尺度のほうでは、予測範囲も狭まるものの、狭い範囲の具体的な基準に対して、高い関連を持ちうる（例：Salgado, 2017; Soto & John, 2019）。両者のバランスは、心理尺度の使用目的に応じて適切に定められなくてはならない（Cronbach 1990）。
最後に引用しているCronbachはあのクロンバックのα係数でお馴染みのLee Cronbachご本人です。勝手な印象論ですが、信頼性の代表的指標であるα係数を提唱したクロンバックさんが、妥当性とのバランスを仰っているようにも思え、趣深い一節に感じました。
最後まで目を通していただき、ありがとうございました！