1 なぜ偽陽性が増えるのか
有意水準 5% の検定は、「本当は差がないのに有意になる」(偽陽性)確率を 5% に抑えます。 では、検定を何回も したら、どうなるでしょうか。
1.1 20 個の評価項目
ある食品の効果を調べる試験で、血圧・血糖・コレステロール・体重・睡眠・気分… と 20 個の評価項目 を測りました。 本当は、どの評価項目にも効果がありません。1 群 50 人の 2 群比較を、20 個の評価項目それぞれで t 検定します。
本当はどれにも効果がないのに、10 番目と 14 番目の評価項目が 有意 になりました。論文に「〇〇が有意に改善した」と書けてしまいます。
1.2 同じ試験を 2000 回やると
20 個の評価項目を検定すると、約 65% の試験で、どれか 1 つが有意 になります。有意な評価項目は、平均すると 1 個(20 × 5%)です。
1.3 何回検定すると、どれくらい増えるか
互いに独立な k 回の検定で、どれか 1 つでも偽陽性になる確率は
\[ 1 - (1 - 0.05)^k \]
です。
2 回で約 10%、5 回で約 23%、10 回で約 40%、20 回で約 64% です。 この「検定のまとまり(family)の中で、どれか 1 つでも偽陽性になる確率」を、FWER(family-wise error rate、ファミリー単位の第一種の過誤率)と呼びます。
1.4 検定どうしが似ていると
血圧の収縮期と拡張期のように、評価項目どうしに 相関 があると、偽陽性もそろって出やすく、FWER の増え方はゆるやかになります。
10 個の評価項目で、相関がなければ約 41%、相関 0.6 なら約 24%、相関 0.9 なら約 14% です。 相関が強いほど、10 個の検定は「同じことを 10 回聞いている」のに近くなるからです。それでも、5% を大きく超えています。
1.5 多重性は、いろいろなところに隠れている
「検定を何回もする」のは、評価項目が多いときだけではありません。
| 場面 | 例 | 扱う章 |
|---|---|---|
| 複数の評価項目 | 血圧・血糖・体重…を全部検定する | 2, 3, 5 |
| 3 群以上の比較 | 4 群を 2 群ずつ 6 回比べる | 4 |
| 大量の検定 | 遺伝子 2 万個、画像のボクセル、多数のバイオマーカー | 3 |
| サブグループ | 男女別・年齢別・重症度別に検定する | 6 |
| 解析の選択 | 外れ値の除き方・調整する変数・評価時点を、結果を見ながら選ぶ | 6 |
| 中間解析 | 試験の途中で何度もデータを見て、有意になったら止める | 7 |
1 回 1 回の検定は正しくても、検定をたくさんして、有意なものだけを報告・解釈する と、偽陽性の結果が紛れ込む確率が大きくなります。 対策は 2 つあります。
- 調整する:有意水準や p 値を補正して、まとまり全体の偽陽性を抑える(第 2〜5、7 章)
- 事前に決める:主要評価項目・比較・解析方法を、データを見る前に決めて、検定の数を絞る(第 5、6、8 章)
1.6 やってみよう
- 評価項目を 5 個にすると、どれか 1 つでも有意になる試験の割合はいくらになりますか(シミュレーションと公式の両方で)
- 「どれか 1 つでも偽陽性になる確率」を 5% に抑えるには、1 回 1 回の検定の有意水準をいくらにすればよいでしょうか(独立な 20 回の検定)
- 約 23%(公式では 22.6%)
- 約 0.00256(Šidák の補正)。もっと単純な 0.05 / 20 = 0.0025(Bonferroni の補正)とほとんど同じです。第 2 章で扱います
- 有意水準 5% の検定を何回もすると、どれか 1 つでも偽陽性になる確率(FWER) は大きくなる。独立な 20 回で約 64%
- 検定どうしに相関があると増え方はゆるやかになるが、5% を超えることに変わりはない
- 多重性は、評価項目・群・サブグループ・解析の選択・中間解析など、いろいろなところに隠れている
- 対策は、調整する ことと、事前に決めて検定を絞る こと