信頼性と妥当性
信頼性 同じ質問紙を同じ被験者に何度やってもほぼ同じ結果が得られる質問紙のことを「信頼性のある質問紙」といいます。
例えば,電卓に [ 1 ] [ + ] [ 1 ] [ = ] と押したらまず間違いなく [ 2 ] という答えが返ってきます。春に押しても,冬に押しても同じです。朝食時に押しても,寝る前に押しても同じです。男性が押しても,女性が押しても同じです。
これがもし,春に押した時には [ 23 ] という答えが表示され,冬に押した時には [ 4 ] が表示されたとなっては信頼できる電卓とはいえませんよね。あるいは,綺麗な女性が使った時には正しい答えを返してくれるが,不細工な女性が使った時には間違った答えを返すようでも困るわけです。
妥当性 研究者が測りたいと考えているヒトの心理がしっかりと測れている質問紙のことを「この質問紙は〜を測るのに妥当である」といいます。
100m走の計測をする時にストップウォッチを使いますよね。まさか,ゴールの所で計測者が体重計で計っているわけはありません。はたまた,視力検査の時に胸に聴診器を当てて「だいぶ視力が落ちているようだね」などという医者はいません。
ヒトの心を測る場合も同じで,ストレスの度合いを測ろうとしているのに知能検査を適用しても意味がありません。ストレスの度合いを測るためには,そのための質問紙が適用されるべきであって,その質問紙も「ちゃんとストレスの度合いを測れているかどうか」が重要なのです。
■ 信頼性の検討
再検査法とは同じテストを2度実施して,1回目のテスト得点と2回目のテスト得点を比較するというものです。この際に重要なことが1回目のテストと2回目のテストを行うまでの間隔をどの程度あけるかとうことです。例えば,漢字テストをやらせる場合,1回目のテストから1日しか間隔を置かなければ,2回目のテストは前回のテストを覚えているのでよりよい点数をとるでしょう。逆に間隔を2ヶ月もとってしまったら,今度は点数が低くなってしまう可能性があります。つまり,長すぎても短すぎてもダメということです。
それで,この検査法において役に立つのが級内相関係数と呼ばれるものです。どのようなものかというと,簡単にいってしまえば「1回目のテスト得点と2回目のテスト得点の一致度を表す指標」ということになります(下表参照)。見て分かるように,級内相関係数は1回目のテスト得点と2回目のテスト得点が完全に一致しているときに1になります。一致しないときは0に近い値をとります。
要するに級内相関係数が高いほど信頼性が高いということがいえるわけです。
|
|
折半法とは被験者を2群に分けて両群のテスト得点がどれほど一致しているかどうかをみるというものです。基本的な考え方は再検査法と同じです。ただし,再検査法は時間的なことに着目しているのに対して,折半法では被験者間によって違わないかどうかということに着目している点が異なります。
それで,被験者を2群に分ける方法ですが,典型的な別け方としては被験者に番号を振り分けて偶数群と奇数群とに別けるような方法が採用されています。どのような別け方でも特に問題はないでしょうが,いわゆる優等生群と劣等生群のような別け方をしてはいけません。このような別け方では両群で得点差が出て当たり前だからです。
つまりは,下の表のようになっていれば,偶数群の得点と奇数群の得点に差がないので信頼性のあるテストであろうといえるわけです。このとき,べつに平均値の差の検定をする必要もないですよ。
|
⇒⇒⇒⇒⇒⇒⇒⇒⇒⇒⇒⇒ (偶数群と奇数群とに別ける) |
|
クロンバックのα係数とは次式で計算されるものです。1に近いほど信頼性が高いといえます。
・・・(式1)
ここに, M:質問の項目数, si2:項目iの分散, si2:各被験者の合計点の分散である。
ただし,例えば回答を「はい」と「いいえ」といった2択で求める場合は次式によって計算されます。
・・・(式2)
ここに, pi:正答率, qi:誤答率である。
■ 妥当性の検討
妥当性といってもいくつか種類があります。
まぁ,これらの学術的な説明というか定義は辞書でも引けばよろしいわけです。ここではそのような理屈っぽい説明は抜きにして,分かりやすい例をあげて説明していきます。大切なのは言葉通りの定義を暗記することではなく,それがどういうものなのかを感覚的に把握することなのです。
内容的妥当性 例えば女性らしさを測るための質問紙を作成することを考えたとしましょう。このとき,女性らしさという概念の内容を確かにしておく必要があります。それは「やさしさ」かもしれませんし「声の高さ」かもしれません。はたまた「足の細さ」や「目の大きさ」なんかでもある可能性はあります。
でもこういった内容はどれが本当に女性らしさという概念の内容なのでしょうか。女性らしさに全く関係のない要素を考えたって意味はありません。こういったことを検討するのが内容的妥当性の検討です。
基準連関妥当性 基準連関妥当性には1)併存的妥当性と2)予測的妥当性とがありますが,2)についてはよく意味が理解できていないので無視します。併存的妥当性の検討とは,既に妥当性が十分に検討されている質問項目(=尺度)と自分の作成した質問項目とを比較してみることです。
例えばスポーツをしている人は想像しやすいでしょうが,(ビデオで)プロのフォームと自分のフォームとを見比べて「もう少し肩を下げた方がいいかなぁ」などとより自分のフォームをプロのフォームに近づけようとしますよね。それこそが併存的妥当性の検討ですわ。
構成概念妥当性 少しは心理学っぽい例を挙げましょう。人の性格を測るための質問紙を作成しようとしたとき,次のようなことを考えます。
「性格という概念には内向的性格と外向的性格が含まれるだろうから,内向的性格を表すような質問項目と外向的性格を表す質問項目を作成しよう。」
それで,内向性に関する質問5個と外向性に関する質問5個を自分で作成したとしましょう(下表)。もしこれら10個の質問項目に対して因子分析したとき,内向性と外向性という2つの因子に属するものでなければならないわけです。もし3つの因子が仮定されてしまってはマズイのですね。実際にはこの時点で因子負荷量が低いもの(つまり仮定した因子との相関関係が低いもののこと)は削除したりします。
さらに,ある項目は内向性の人間の特徴をより顕著に表すものであるが,外向性の人間の特徴には当てはまらない,ということを共分散構造分析によって分析することもより妥当性を検討するためには重要なことなのです。まぁ,これは少し難しい内容になってしまうので,ここでは深く触れません。
内向性に関する質問 | 外向性に関する質問 |
|
|
収束的妥当性 例えば理系科目には数学,物理,化学,生物,情報処理という科目が含まれています。一方で文系科目としては国語,社会,英語などが含まれているでしょう。普通に考えれば,理系の学生は数学のテスト点が高かれば物理のテスト点も高くなるはずです。つまり数学と物理のテスト点には相関関係が認められるということです。
これと同じように,内向性に関する質問項目同士で相関が高くなければいけませんよということですわ。
弁別的妥当性 上の例でいうと,数学と物理の相関関係は数学と英語の相関関係よりも大きくならなければならないわけです。こういったものを弁別的妥当性といいます。
以上,妥当性についていろいろと説明してきましたが,このような用語を理解するのではなく,それよりは「質問紙を作る際にはこういう点を考慮しなければならないのだな」ということを知ってもらえれば良いのですよ。