9 演習と、多重性のチェックリスト
これまでの章の内容を、自分の手で使ってみます。 この章のコードセルは自動では実行されません。空欄(___)を埋めて「Run Code」 を押してください。解答例は各問の下に折りたたんであります。
9.1 多重性のチェックリスト
| # | 確かめること | 章 |
|---|---|---|
| 1 | 主要評価項目 は 1 つか。複数なら「どれか 1 つ」か「すべて」か | 5 |
| 2 | 主張に使う検定の ファミリー を決めたか | 8 |
| 3 | FWER を抑えるなら Holm(Bonferroni ではなく)。前提が成り立つなら Hochberg・Hommel | 2 |
| 4 | 副次評価項目で効果を主張するなら、固定順序・グラフ的方法 を計画したか | 5 |
| 5 | 3 群以上の比較で、比べたいもの(すべての組み合わせ / 対照群との比較 / 事前の少数の比較)を決めたか | 4 |
| 6 | 「全体の検定が有意なら補正なし」(保護つき LSD)を、4 群以上で使っていないか | 4 |
| 7 | 大量の検定のスクリーニングなら FDR(BH)。検証的な結論には使わない | 3 |
| 8 | サブグループ は事前に決めた少数か。効果の違いは 交互作用の検定 で調べたか | 6 |
| 9 | 評価項目・共変量・外れ値・対象者などの 解析の選択 を、データを見る前に決めたか | 6 |
| 10 | 中間解析 の回数・時点・境界(α 消費関数)を計画したか | 7 |
| 11 | 補正した信頼区間 や効果の大きさを示したか | 2, 4, 8 |
| 12 | 探索的な解析を 探索的と明記 し、検定の数を示したか | 8 |
| 13 | 計画書・解析計画書・登録との 違い を報告したか | 6, 8 |
9.2 演習 1:8 つの評価項目
ある試験で、8 つの評価項目の p 値が次のようになりました。補正なし・Bonferroni・Holm・Hochberg・BH で、有意なものの数を比べてください。
sapply(c("none", "bonferroni", "holm", "hochberg", "BH"), function(m) sum(p.adjust(p, method = m) < 0.05))補正なし 6、Bonferroni 2、Holm 3、Hochberg 3、BH 6。Holm は Bonferroni より多く見つけ、FDR を抑える BH はさらに多く見つけます。何を抑えたいか(FWER か FDR か)で結論が変わるので、事前に 決めておく必要があります。
9.2.1 1-2. Holm の方法を手で
上の p 値を小さい順に並べ、Holm の方法で比べる値(0.05 / (k − i + 1))と比べて、どこで止まるかを確かめてください。
data.frame(順位 = 1:k, p値 = ps, 比べる値 = 0.05 / (k:1), 有意 = ps < 0.05 / (k:1))1 番目 0.001 < 0.00625、2 番目 0.006 < 0.00714、3 番目 0.008 < 0.00833 で有意、4 番目 0.012 > 0.01 で止まります。有意なのは 3 つです。
9.3 演習 2:主観的健康感と血圧
NHANES の 20 歳以上で、主観的健康感(HealthGen、5 段階)ごとに収縮期血圧を比べます。すべての組み合わせを、Tukey の方法で比べてください。
tk <- TukeyHSD(aov(BPSysAve ~ HealthGen, data = a))10 の組み合わせのうち、Excellent と Vgood、Fair と Poor 以外の 8 つで有意な差があります。主観的健康感が悪いほど血圧が高い傾向ですが、年齢などの交絡があります。順序のある群なので、10 回の比較よりも、傾向の検定 1 回のほうが問いに合っているかもしれません(第 4 章)。
9.4 演習 3:途中で何度も検定すると
1 群 30 人の予定で始めた研究で、10 人、15 人、20 人、25 人、30 人(各群)が集まるたびに t 検定し、p < 0.05 になったら止めて「有意」とします。本当は差がないとき、何 % の研究が「有意」になるか、シミュレーションで確かめてください。
any(ps < 0.05)約 12% です。「もう少し人数を増やしたら有意になるかも」と、データを見ながら人数を決めるのも、多重性の問題です(第 7 章)。
9.5 演習 4:自分の研究で
自分が計画している研究で、次のことを書き出してください。
- 主要評価項目と、主張に使う検定のファミリー
- 副次評価項目のうち、効果を主張したいものと、その検定の順番(固定順序)
- 事前に決めるサブグループ(できれば 5 つ以下)
- 探索的な解析として扱うもの
9.6 確認問題
- 独立な 10 回の検定(それぞれ有意水準 5%)で、どれか 1 つでも偽陽性になる確率はいくらですか
- Holm の方法が Bonferroni の方法より常によいと言えるのはなぜですか
- FWER と FDR の違いを説明してください。それぞれどんな場面で使いますか
- 固定順序法(階層的検定)で、順番を間違えるとどうなりますか
- 「男性では有意、女性では有意でない」から「女性には効かない」と結論してはいけないのはなぜですか
- 中間解析で、O’Brien–Fleming 型の境界がよく使われるのはなぜですか
- 1 − 0.95^10 ≈ 40%(第 1 章)
- どちらも検定どうしの関係によらず FWER を抑え、Bonferroni で有意なものは Holm でも必ず有意だから(第 2 章)
- FWER は「偽が 1 つでも混ざる確率」、FDR は「発見のうち偽の割合の平均」。FWER は検証的な結論(臨床試験の主要・副次評価項目)、FDR はスクリーニングなど探索的な場面で使う(第 3 章)
- 前の評価項目が有意にならないと、後ろの評価項目は(本当に効果があっても)すべて有意でないことになる(第 5 章)
- サブグループに分けると人数が減って検出力が下がるので、効果が同じでも有意でなくなることがよくある。効果の違いは交互作用の検定で調べ、それも事前に決めた少数に限る(第 6 章)
- 早い時点の基準がとても厳しく、最終解析の基準が 0.05 に近いので、検出力や必要な人数をほとんど変えずに、大きな効果のときだけ早く止められるから(第 7 章)