多重検定

なぜ偽陽性が増えるのかから、FWER と FDR、事後比較、臨床試験、サブグループ、中間解析まで

今日のゴール

  1. 検定を何回もすると 偽陽性が増える しくみを説明できる
  2. FWER(Holm など)と FDR(BH)を使い分けられる
  3. 3 群以上の比較・臨床試験の評価項目・中間解析で、適切な方法を選べる
  4. サブグループ解析 と 解析の選択 の多重性に気づける
  5. 多重性への対応を 事前に計画し、報告 できる

ヒント

詳しい解説・ブラウザで動く R・演習は ハンズオンブック にあります

1. なぜ増えるのか

検定の回数と偽陽性

10 回で 約 40%、20 回で 約 64%。評価項目どうしの相関があっても 5% を超える

多重性はいろいろなところに

場面 例
複数の評価項目 血圧・血糖・体重…を全部検定
3 群以上の比較 4 群を 2 群ずつ 6 回
大量の検定 遺伝子・バイオマーカー数千個
サブグループ 男女別・年齢別…
解析の選択 外れ値・共変量・評価項目を結果を見て選ぶ
中間解析 途中で何度もデータを見る

対策は 調整する ことと、事前に決めて検定を絞る こと

2. FWER と FDR

Bonferroni・Holm・Hochberg

p 値:0.001, 0.008, 0.012, 0.030, 0.040

p Bonferroni Holm Hochberg
血圧 0.001 0.005 0.005 0.005
血糖 0.008 0.040 0.032 0.032
LDL 0.012 0.060 0.036 0.036
体重 0.030 0.150 0.060 0.040
睡眠 0.040 0.200 0.060 0.040
  • Holm:小さい順に α/k, α/(k−1), … と比べ、有意でなくなったら止める。前提なしで Bonferroni より常によい
  • Hochberg・Hommel:さらに強いが、独立か正の相関が前提

FDR:大量の検定

1000 個のマーカーのうち 100 個に本当の関係(1000 回の平均)

方法 抑えるもの 発見 偽の割合 検出率
補正なし ― 130 35% 85%
Holm FWER 15 0.4% 15%
BH FDR 52 4.4% 50%
  • FWER:偽が 1 つでも 混ざる確率 → 検証的 な結論
  • FDR:発見のうち偽の 割合 → スクリーニングなど 探索的 な場面

3. 群の比較と臨床試験

3 群以上の比較

比べたいもの 方法
すべての組み合わせ Tukey
各群 vs 対照群 Dunnett
事前に決めた少数の比較 Holm

「全体の F 検定が有意なら補正なし」(保護つき LSD)は、6 群のうち 1 群だけが違うと、差のない群どうしで 約 27% の偽陽性(Tukey は 3%)

評価項目が 2 つの試験

1 群 100 人、A・B の相関 0.5(2000 回)

シナリオ 補正なし 固定順序(A→B) Holm 重み付き Holm(4%/1%)
効果なし:FWER 7% 4% 4% 4%
A だけ効果:A の検出力 82% 82% 74% 80%
B だけ効果:B の検出力 82% 3% 73% 61%
  • 固定順序:順番が正しければ最強、間違えると後ろを失う
  • co-primary(すべて有意が必要):補正は不要だが、両方有意の確率は 82% → 71%

4. サブグループと中間解析

全員に同じ効果があっても

10 個の背景因子でサブグループ解析(300 回)

  • 95% の試験で「効果が有意でないサブグループ」が見つかる
  • 41% の試験で、どれかの交互作用が偶然有意(「誕生月が奇数」でも)

解析の選択(評価項目 3 × 調整 2 × 外れ値 2 × 対象者 3 = 36 通り)から最小の p 値を選ぶと、差がなくても 約 33% が有意

→ 事前に決めて書く(計画書・解析計画書・事前登録)

中間解析の境界

5 回データを見る(効果がないとき、毎回 p < 0.05 で止めると 約 14% が有意)

O’Brien–Fleming:最終の基準はほぼ 0.05(0.041)。検出力をほとんど落とさず早く止められる。早く止めた試験の効果は 過大

まとめ:報告に含めるもの

  1. 主要評価項目と、主張に使う検定の ファミリー
  2. 補正の方法と、それを 事前に 決めたこと
  3. 補正した p 値・補正した信頼区間
  4. 行った検定の 総数(評価項目・比較・サブグループ)
  5. 探索的な解析は 探索的と明記
  6. 中間解析の計画と境界
  7. 計画書・登録との違い

ヒント

演習とチェックリストはハンズオンブックの第 9 章へ