8  検出力・多重比較・報告の書き方

最後に、χ² 検定を 研究の計画と報告 の中で使うときのことを扱います。

8.1 何人いれば差を見つけられるか

新しい治療で、改善率が 25% から 35% に上がると見込んでいるとします。 有意水準 5%(両側)、検出力 80%(本当に差があるとき、80% の確率で有意になる)で検定するには、1 群何人必要でしょうか。

1 群 約 329 人(切り上げて 330 人)です。シミュレーションで確かめます。

約 80% の確率で有意になりました。power.prop.test() は、補正なしの χ² 検定(=割合の差の z 検定、第 2 章)に対応しています。

8.1.1 差が小さいと、必要な人数は急に増える

差が半分になると、必要な人数は約 4 倍になります(人数は差の 2 乗に反比例)。

8.1.2 r×c 表の検出力

3 群以上や、3 カテゴリ以上の表では、非心 χ² 分布 で検出力を計算できます。 想定する表の割合から、Cohen の効果量 w を計算し、N × w² を非心度として使います。

3 群合わせて 300 人で検出力は約 41%、600 人で約 71%、900 人で約 88% です。シミュレーションでも確かめられます(やってみよう)。

8.2 3 群以上で、どこが違うか:事後の多重比較

NHANES の 20 歳以上で、人種・民族の区分ごとに糖尿病の割合を比べます。

5 群の間に差があることは分かりました(χ² = 78.1、自由度 4)。では、どの群とどの群 が違うのでしょうか。

8.2.1 2 群ずつ全部比べると

5 群から 2 群を選ぶ組み合わせは 10 通りです。それぞれを有意水準 5% で検定すると、どこにも差がなくても、10 回のうちどれかが有意になる確率 は 5% よりずっと大きくなります。

約 40% です(実際の 10 回の比較は互いに独立ではないので、正確にはこれより少し小さくなります)。

8.2.2 シミュレーション:本当は差がないのに

5 群とも糖尿病の割合が 14% で、各群 300 人という、本当は差がない データを作り、2 群ずつ 10 回検定します。

補正しないと、本当は差がないのに、約 3 割の研究で「どこかに有意差あり」 になります。Holm の方法で p 値を補正すると、5% 以下に抑えられます。

8.2.3 実データで補正する

Holm の方法で補正しても、Black は他のすべての群より割合が高く、White は Black・Hispanic・Mexican より低い、と言えます。

ヒント多重比較の考え方
  • 全体の χ² 検定 → 標準化残差(第 4 章)→ 2 群ずつの比較(補正つき) の順に、問いを細かくしていく
  • 比べたい組み合わせが最初から決まっている(例:各群を White と比べるだけ)なら、その組み合わせだけを検定し、その数で補正する
  • 補正の方法は、ボンフェローニ(p 値 × 比較の数。単純で保守的)、Holm(ボンフェローニより常に検出力が高い。迷ったらこれ)など
  • サブグループ解析(男女別・年齢別に何度も検定する)も、同じ多重検定の問題を持つ

8.3 結果の書き方

χ² 検定の結果を報告するときは、読者が 表を再現でき、どの検定を使ったか分かる ように書きます。

重要報告に含めるもの
  1. 各群の人数と割合(分母を必ず書く)
  2. 差・比などの効果の大きさと、その信頼区間
  3. 検定の名前(Pearson の χ² 検定 / Fisher の正確検定 / McNemar 検定 / MH 検定 / 傾向検定)と、補正の有無(Yates)
  4. χ² 値・自由度・p 値(p 値は「p < 0.05」ではなく、実際の値を書く。とても小さいときは p < 0.001)
  5. 多重比較をしたなら、補正の方法
  6. 交絡を考えたなら、何で層別・調整したか(この例では、年齢で調整すると結論が変わる。第 7 章)
警告「有意差なし」は「差がない」ではない

p = 0.30 のとき、言えるのは「この人数では差を検出できなかった」ことだけです。 信頼区間が広く、臨床的に大きな差も含んでいるなら、「差がない」とは言えません。 同等であることを示したいなら、最初から同等性・非劣性の検定として計画 します。

8.4 やってみよう

ノート練習
  1. power.prop.test() で、改善率 25% → 30% の差を検出力 90% で見つけるのに必要な 1 群の人数を求めてください
  2. power_chisq() で計算した「3 群合わせて 600 人で約 71%」を、シミュレーションで確かめてください
  1. 1 群 1674 人(1673.9 を切り上げ)。差が 5 ポイントだと、10 ポイントのとき(約 330 人)の 5 倍ほど必要です
  2. 約 71% 前後になります(シミュレーションなので、数ポイントのぶれがあります)
重要この章のまとめ
  • 必要な人数は power.prop.test()。差が半分になると、人数は約 4 倍
  • r×c 表の検出力は、効果量 w と 非心 χ² 分布 で計算できる
  • 事後に 2 群ずつ比べるなら、Holm などで補正。補正しないと偽の有意差が出やすい
  • 報告は「人数と割合・効果の大きさと信頼区間・検定の名前と補正・χ²(df)・p 値」