多重検定 ハンズオン
なぜ偽陽性が増えるのかから、FWER と FDR、事後比較、臨床試験の階層的検定、サブグループと中間解析まで
はじめに
English version available — Read in English (machine-assisted translation by generative AI).
研究では、1 回の検定で終わることはほとんどありません。評価項目がいくつもあり、群を 2 つずつ比べ、男女別・年齢別にも解析し、途中でデータを確かめ…。 1 回 1 回の検定は正しくても、検定をたくさんして、有意なものを報告する と、偶然の結果が紛れ込みます。
- 検定を 10 回すると、偽陽性の確率はどれくらいになるのか
- Bonferroni・Holm・Hochberg・BH は、何が違うのか
- 3 群以上の比較で、Tukey と Dunnett はどう使い分けるのか
- 臨床試験で、副次評価項目の効果を主張するにはどうすればよいのか
- サブグループ解析の結果は、どこまで信じてよいのか
- 中間解析をしても、有意水準を 5% に保つにはどうすればよいのか
このハンズオンでは、ブラウザで動く R とシミュレーションを使って、多重性の問題を 体験し、対処法を 比べ、計画と報告の仕方を身につけます。
このハンズオンのゴール
- 検定を何回もすると 偽陽性が増える しくみを説明できる
- FWER(Bonferroni・Holm・Hochberg)と FDR(BH)を使い分けられる
- 3 群以上の比較で、Tukey・Dunnett・Holm を選べる
- 臨床試験の 固定順序法・グラフ的方法・co-primary を説明できる
- サブグループ解析 や 解析の選択 の多重性に気づき、事前に計画できる
- 中間解析 の境界(Pocock・O’Brien–Fleming)の考え方を説明できる
- 多重性への対応を、計画書・論文に 書ける
対象読者
- 臨床研究・疫学・ヘルスケアデータの解析に関わる方(これから関わる方)
- p 値・有意水準・t 検定の意味が、なんとなく分かる方(統計検定 3 級程度)
- R は「コードを読んで、少し書き換えて実行できる」程度で大丈夫です
ブラウザで R が動きます
各章のコードセルは、あなたのブラウザの中で R が実行されています(webR という技術)。 コードを書き換えて「Run Code」を押せば、すぐに結果が変わります。インストールは不要です。
ノート
- 各章を開いた直後は、R とパッケージの読み込みに 数十秒〜1分ほど かかります
- シミュレーションのセルは、ブラウザの中で数千回の検定を繰り返すので、数秒〜十数秒 かかることがあります
- PC での閲覧を推奨します
使うデータ
| データ | 内容 | 主に使う章 |
|---|---|---|
| シミュレーション | 「本当の効果」を自分で決めて作るデータ。偽陽性の確率や検出力を確かめるのに使う | 全章 |
| NHANES 2009–2012 | 米国の健康栄養調査の実際の標本(約 2 万人)。人種・民族・学歴・主観的健康感ごとの BMI・血圧 | 4, 9 |
警告データの注意
NHANES の標本は、一部の人種・年齢層を多めに集めた調査です。このハンズオンでは多重比較のしくみを学ぶために重みを使わずに集計しており、米国の母集団の値ではありません(重みの話は 記述統計ハンズオン の第 5 章)。
章の構成
| 章 | 内容 |
|---|---|
| 1 | なぜ偽陽性が増えるのか(FWER、相関の影響、多重性が隠れている場面) |
| 2 | FWER を抑える:Bonferroni・Holm・Hochberg・Hommel、補正した信頼区間 |
| 3 | 大量の検定と FDR:Benjamini–Hochberg の方法、FWER との使い分け |
| 4 | 3 群以上の比較:Tukey・Dunnett、保護つき LSD の落とし穴 |
| 5 | 臨床試験の多重性:固定順序法、重み付き Holm(グラフ的方法)、co-primary |
| 6 | サブグループ解析と「分岐する道」:交互作用の検定、p ハッキング |
| 7 | 中間解析:何度もデータを見ると、Pocock と O’Brien–Fleming の境界、早期中止の過大評価 |
| 8 | いつ補正するか・報告の書き方 |
| 9 | 演習と、多重性のチェックリスト |
各章は「シミュレーションで多重性の問題を体験する → 対処法を比べる → 実データや臨床試験の場面に当てはめる」という流れです。
関連するハンズオン:χ² 検定ハンズオン(第 8 章で割合の多重比較)、サンプルサイズと検出力ハンズオン(交互作用や co-primary の人数)、交絡ハンズオン(交互作用とサブグループ)。