5 度数が小さいとき:Yates の補正と Fisher の正確検定
「期待度数が 5 未満のセルがあったら、χ² 検定ではなく Fisher の正確検定を使う」と習った人は多いと思います。 chisq.test() も、期待度数が小さいと Chi-squared approximation may be incorrect という警告を出します。 この章では、このルールの意味と、本当に何が起きているか を、正確な計算で確かめます。
5.1 紅茶を味わう婦人
フィッシャーの有名な例です。ある婦人が「ミルクティーは、紅茶が先かミルクが先かで味が違うので、当てられる」と言いました。 そこで、紅茶が先のカップ 4 杯、ミルクが先のカップ 4 杯をランダムな順に出し、「紅茶が先」の 4 杯を選んでもらいました。結果、4 杯中 3 杯が正解 でした。
期待度数はすべて 2 で、chisq.test() は警告を出します。8 杯しかないので、χ² 分布の近似は信用できません。
5.2 Fisher の正確検定:すべての場合を数える
この実験では、行の合計(各 4 杯)も列の合計(「紅茶が先」と答えるのは 4 杯)も、最初から決まっています。 すると、表は 「紅茶が先」の 4 杯のうち何杯を当てたか(0〜4) だけで決まります。 当てずっぽうで 4 杯を選ぶと、8 杯から 4 杯の選び方は全部で 70 通りで、そのうち…
- 3 杯以上当たる確率は (16 + 1) / 70 = 0.243(片側)
- 「当たり方が 3 杯以上に偏る」または「同じくらい外れる(1 杯以下)」確率は (1 + 16 + 16 + 1) / 70 = 0.486(両側)
これが Fisher の正確検定 です。周辺の合計を固定したときの表の確率(超幾何分布、dhyper())で、観測した表と同じかそれ以上に偏った表の確率を合計します。
4 杯中 3 杯の正解では、当てずっぽうと区別できません(全問正解なら片側 p = 1/70 = 0.014)。 χ² 分布の近似による p 値(0.157)は、正確な値(0.486)と大きく違っています。
Fisher の正確検定は、第 2 章の「ラベルのシャッフル」で起こりうる すべての表を、確率つきで数え上げた ものです。 シャッフルを無限回くり返した p 値と考えることもできます。
5.3 「期待度数 5」のルールはどこから来たか
よく引用されるのは、コクラン(Cochran, 1954)の次の目安です。
- 期待度数が 1 未満 のセルがない
- 期待度数が 5 未満 のセルが、全体の 20% 以下
「すべてのセルで 5 以上」というのは、これをさらに厳しくした、覚えやすい形です。 どれくらい大事なルールなのかを、第一種の過誤(本当は差がないのに「有意」になる確率)で確かめます。
5.4 正確に計算する:第一種の過誤
2 群に 10 人ずつ、どちらの群も「改善率 30%」(本当は差がない)とします。 各群の改善人数は 0〜10 人なので、起こりうる表は 11 × 11 = 121 通りしかありません。 すべての表について、その表が出る確率と、検定で有意になるかを調べれば、第一種の過誤が正確に計算できます。
本来、有意水準 5% の検定なら、差がないときに有意になる確率は 5% のはずです。
- 補正なしの χ² 検定:3.7%。人数が少なく、期待度数が 5 未満のセルが多いのに、5% を 超えていない
- Yates の補正つき χ² 検定:1.2%
- Fisher の正確検定:1.2%
人数や改善率を変えてみます(少し時間がかかります)。
- Fisher の正確検定と Yates の補正は、第一種の過誤が 5% よりかなり 小さい(保守的)
- 補正なしの χ² 検定は、期待度数が 5 を下回っても、多くの場合 5% に 近い(ときどき少し超える)
5.4.1 「正確」なのに 5% にならない理由
Fisher の正確検定の p 値は正確に計算されていますが、表がとびとびの値しか取らないため、「ちょうど 5%」で切ることができません。 5% を超えないように 有意かどうかを決めるので、実際の第一種の過誤は 5% より小さくなります。 Yates の補正は、χ² 値を小さくして Fisher の p 値に近づける補正なので、同じように保守的になります。
5.4.2 保守的だと何が困るか:検出力
保守的な検定は、本当に差があるときに見逃しやすく なります。 本当は改善率が 20% と 60% の 2 つの治療を、1 群 20 人で比べる場合の 検出力(正しく有意になる確率)を、同じ方法で計算します。
補正なしの χ² 検定と比べて、Yates の補正・Fisher の正確検定は、検出力が 10 ポイント以上低くなります。
5.5 では、どうするか
小さい 2×2 表について、現在よく使われる考え方をまとめます。
- Fisher の正確検定 は、第一種の過誤が 5% を超えないことが保証される、もっとも安全な方法。保守的なのを承知で使う。臨床試験や査読で説明しやすい
- Yates の補正は、Fisher の正確検定より優れた点がほとんどないため、今は勧められない ことが多い。R の
chisq.test()は 2×2 表で 既定で Yates の補正をする ので、どちらを使ったか必ず確認する - 期待度数がおおむね 1 以上なら、補正なしの χ² 検定(または χ² 値に (N − 1)/N を掛けた「N − 1 χ² 検定」)でも第一種の過誤は 5% に近い、という研究もある(Campbell, 2007)
どれを使うかは、データを見る前に、解析計画で決めておきます。結果を見て p 値が小さくなるほうを選ぶのは、第一種の過誤を増やすことになります。
5.6 大きい表で期待度数が小さいとき
2×2 より大きい表でも、Fisher の正確検定(fisher.test())は使えますが、人数が多いと計算に時間がかかります。 その場合は、第 2 章の シミュレーションによる p 値 が便利です。
Framingham の最初の診察で、BMI の区分と糖尿病の関係を見ます。
BMI 35 以上で糖尿病のセルの期待度数が 3.5 で、5 未満のセルは 8 つ中 1 つ(12.5%)です。
χ² 分布の p 値は 1.1×10⁻⁷ で、シミュレーションでは 2 万回中 1 回も観測した χ² 値以上にならなかった(p は 1/20001 ≒ 5×10⁻⁵ が下限)ので、どちらでも結論は同じです。 期待度数が 5 未満のセルが少しある程度なら、χ² 分布の近似はたいてい大きくは崩れません。気になるときは、シミュレーションで確かめます。
期待度数を大きくするために、少ないカテゴリを隣とまとめるのはよく行われますが、どうまとめるかはデータを見る前に決めます。 p 値を見ながらまとめ方を変えると、それ自体が多重検定になります(第 8 章)。
- Fisher の正確検定は、周辺の合計を固定して すべての表の確率を数え上げる
- 「期待度数 5 未満は Fisher」は安全側のルール。Fisher と Yates は 保守的(第一種の過誤 < 5%、検出力が低い)
- 補正なしの χ² 検定は、小さい表でも思ったより崩れないことが多い
- R の
chisq.test()は 2×2 表で既定で Yates の補正。どれを使うかは解析の前に決める - 大きい表で期待度数が小さいときは、
simulate.p.value = TRUEで確かめる