1  なぜ偽陽性が増えるのか

有意水準 5% の検定は、「本当は差がないのに有意になる」(偽陽性)確率を 5% に抑えます。 では、検定を何回も したら、どうなるでしょうか。

1.1 20 個の評価項目

ある食品の効果を調べる試験で、血圧・血糖・コレステロール・体重・睡眠・気分… と 20 個の評価項目 を測りました。 本当は、どの評価項目にも効果がありません。1 群 50 人の 2 群比較を、20 個の評価項目それぞれで t 検定します。

本当はどれにも効果がないのに、10 番目と 14 番目の評価項目が 有意 になりました。論文に「〇〇が有意に改善した」と書けてしまいます。

1.2 同じ試験を 2000 回やると

20 個の評価項目を検定すると、約 65% の試験で、どれか 1 つが有意 になります。有意な評価項目は、平均すると 1 個(20 × 5%)です。

1.3 何回検定すると、どれくらい増えるか

互いに独立な k 回の検定で、どれか 1 つでも偽陽性になる確率は

\[ 1 - (1 - 0.05)^k \]

です。

2 回で約 10%、5 回で約 23%、10 回で約 40%、20 回で約 64% です。 この「検定のまとまり(family)の中で、どれか 1 つでも偽陽性になる確率」を、FWER(family-wise error rate、ファミリー単位の第一種の過誤率)と呼びます。

1.4 検定どうしが似ていると

血圧の収縮期と拡張期のように、評価項目どうしに 相関 があると、偽陽性もそろって出やすく、FWER の増え方はゆるやかになります。

10 個の評価項目で、相関がなければ約 41%、相関 0.6 なら約 24%、相関 0.9 なら約 14% です。 相関が強いほど、10 個の検定は「同じことを 10 回聞いている」のに近くなるからです。それでも、5% を大きく超えています。

1.5 多重性は、いろいろなところに隠れている

「検定を何回もする」のは、評価項目が多いときだけではありません。

場面 例 扱う章
複数の評価項目 血圧・血糖・体重…を全部検定する 2, 3, 5
3 群以上の比較 4 群を 2 群ずつ 6 回比べる 4
大量の検定 遺伝子 2 万個、画像のボクセル、多数のバイオマーカー 3
サブグループ 男女別・年齢別・重症度別に検定する 6
解析の選択 外れ値の除き方・調整する変数・評価時点を、結果を見ながら選ぶ 6
中間解析 試験の途中で何度もデータを見て、有意になったら止める 7
重要多重性の問題とは

1 回 1 回の検定は正しくても、検定をたくさんして、有意なものだけを報告・解釈する と、偽陽性の結果が紛れ込む確率が大きくなります。 対策は 2 つあります。

  1. 調整する:有意水準や p 値を補正して、まとまり全体の偽陽性を抑える(第 2〜5、7 章)
  2. 事前に決める:主要評価項目・比較・解析方法を、データを見る前に決めて、検定の数を絞る(第 5、6、8 章)

1.6 やってみよう

ノート練習
  1. 評価項目を 5 個にすると、どれか 1 つでも有意になる試験の割合はいくらになりますか(シミュレーションと公式の両方で)
  2. 「どれか 1 つでも偽陽性になる確率」を 5% に抑えるには、1 回 1 回の検定の有意水準をいくらにすればよいでしょうか(独立な 20 回の検定)
  1. 約 23%(公式では 22.6%)
  2. 約 0.00256(Šidák の補正)。もっと単純な 0.05 / 20 = 0.0025(Bonferroni の補正)とほとんど同じです。第 2 章で扱います
重要この章のまとめ
  • 有意水準 5% の検定を何回もすると、どれか 1 つでも偽陽性になる確率(FWER) は大きくなる。独立な 20 回で約 64%
  • 検定どうしに相関があると増え方はゆるやかになるが、5% を超えることに変わりはない
  • 多重性は、評価項目・群・サブグループ・解析の選択・中間解析など、いろいろなところに隠れている
  • 対策は、調整する ことと、事前に決めて検定を絞る こと