3 適合度検定:理論の割合と比べる
第 1・2 章の χ² 検定は、2 つの変数の 関係(独立性) を調べるものでした。 χ² 値 = Σ (O − E)²/E という形は、「期待度数」をどこから持ってくるか を変えるだけで、別の問いにも使えます。 この章では、1 つの変数の度数を、理論で決まる割合 と比べる 適合度検定(goodness-of-fit test)を扱います。
3.1 メンデルのエンドウ
メンデルは、丸・黄色の種子のエンドウ(雑種)どうしを交配し、次の世代の種子 556 個を 4 種類に分けて数えました。 遺伝の法則が正しければ、4 種類は 9 : 3 : 3 : 1 の割合で現れるはずです。
期待度数は「総数 × 理論の割合」です。χ² 値の計算は第 1 章と同じです。
chisq.test() に 1 つのベクトルと p =(理論の割合) を渡すと、適合度検定になります。 χ² 値は 0.47、p = 0.93 で、観測は理論の割合と よく合っています。
3.1.1 自由度は「カテゴリ数 − 1」
4 種類の度数は、合計が 556 個に決まっているので、3 つを決めれば最後の 1 つは決まります。自由度は 4 − 1 = 3 です。
統計学者の R. A. フィッシャーは、メンデルの実験結果をまとめて検定し直し、理論にあまりに近すぎる(χ² 値が小さすぎる。偶然ならこれほど合う確率はとても低い)と指摘しました。 適合度検定は、ずれが大きすぎることだけでなく、小さすぎること(データが整えられている可能性)の確認にも使われます。真相には諸説あります。
3.2 「合っている」ことは示せない
p = 0.93 は「9:3:3:1 からずれているという証拠はない」という意味で、「9:3:3:1 であることが証明された」ではありません。 同じ割合のまま、数を 100 倍にしてみます。
割合はまったく同じなのに、p 値は 0.93 から 0.0000000003 に変わりました。 χ² 値は人数に比例して大きくなるので、標本が大きいと、意味のないほどの小さなずれ でも有意になります。逆に、標本が小さいと、大きなずれも見逃します。 適合度検定で「有意差なし = 理論どおり」と結論するのは、標本の大きさを考えないと危険です(第 4・8 章)。
3.3 実データ:血圧の末尾の数字
Framingham の最初の診察(4434 人)で記録された収縮期血圧の、末尾の数字(一の位) を数えます。 血圧の値そのものはばらばらなので、末尾の数字 0〜9 は、本来どれも同じくらい(各 10%)出るはずです。
χ² 値は 160(自由度 9)で、一様な分布から大きく外れています。 標準化残差を見ると、0(+9.8)と 5(+5.6)が多すぎる ことが分かります。水銀血圧計で読み取るとき、きりのよい数字に丸める 末尾の数字の好み(digit preference)です。
末尾の数字の偏りは、測定者・施設・時期ごとに比べると、測定の手順の違いを見つける手がかりになります(自動血圧計に切り替えると偏りが消える、など)。
3.4 理論の割合をデータから推定したとき
ポアソン分布のような 理論の分布 に合っているかを確かめるとき、分布のパラメータ(平均 λ など)をデータから推定することがよくあります。 このとき、推定したパラメータの数だけ自由度を減らす 必要があります。
有名な例として、19 世紀のプロイセン陸軍で、馬に蹴られて亡くなった兵士の数 を、10 の軍団 × 20 年 = 200「軍団・年」について数えたデータ(ボルトキェヴィチ)を使います。
3 人・4 人は件数が少なく、期待度数もそれぞれ約 4.0 と 0.6 しかないので、3 人以上を 1 つにまとめます。まとめても期待度数は 4.8 で、5 をわずかに下回ります(このくらいなら問題が小さいことは第 5 章で確かめます。chisq.test() が出す警告もそのためです)。
- カテゴリは 4 つ → 合計の制約で 1 つ減る
- λ をデータから推定した → さらに 1 つ減る
- 自由度は 4 − 1 − 1 = 2
chisq.test(x, p = ...) は、p がデータから推定したものかどうかを知らないので、自由度を 3 のまま 計算します。 推定したパラメータがあるときは、χ² 値だけを使って、自由度を自分で直して pchisq() で p 値を出します。
3.4.1 自由度を直さないとどうなるか
本当にポアソン分布に従うデータを 2000 回作り、毎回 λ を推定して検定してみます。
本当にポアソン分布なのに「有意」になる割合(第一種の過誤)は、本来 5% であるべきです。 自由度 3 のままだと、約 2% と かなり小さく なります(保守的になり、本当にずれているときに見逃しやすい)。自由度を 2 に直すと、約 4.5% と 5% に近づきます。 パラメータを推定すると、期待度数がデータに「寄せられる」ので、χ² 値が小さくなるためです。
- 適合度検定は、1 つの変数の度数を 理論の割合 と比べる。
chisq.test(x, p = 割合) - 自由度は カテゴリ数 − 1 − (データから推定したパラメータの数)。推定したときは
pchisq()で自分で直す - 「有意差なし」は「理論どおり」の証明ではない。標本が大きいと小さなずれも有意になる
- 末尾の数字の好みなど、データの品質の確認 にも使える