9  演習と、多重性のチェックリスト

これまでの章の内容を、自分の手で使ってみます。 この章のコードセルは自動では実行されません。空欄(___)を埋めて「Run Code」 を押してください。解答例は各問の下に折りたたんであります。

9.1 多重性のチェックリスト

# 確かめること 章
1 主要評価項目 は 1 つか。複数なら「どれか 1 つ」か「すべて」か 5
2 主張に使う検定の ファミリー を決めたか 8
3 FWER を抑えるなら Holm(Bonferroni ではなく)。前提が成り立つなら Hochberg・Hommel 2
4 副次評価項目で効果を主張するなら、固定順序・グラフ的方法 を計画したか 5
5 3 群以上の比較で、比べたいもの(すべての組み合わせ / 対照群との比較 / 事前の少数の比較)を決めたか 4
6 「全体の検定が有意なら補正なし」(保護つき LSD)を、4 群以上で使っていないか 4
7 大量の検定のスクリーニングなら FDR(BH)。検証的な結論には使わない 3
8 サブグループ は事前に決めた少数か。効果の違いは 交互作用の検定 で調べたか 6
9 評価項目・共変量・外れ値・対象者などの 解析の選択 を、データを見る前に決めたか 6
10 中間解析 の回数・時点・境界(α 消費関数)を計画したか 7
11 補正した信頼区間 や効果の大きさを示したか 2, 4, 8
12 探索的な解析を 探索的と明記 し、検定の数を示したか 8
13 計画書・解析計画書・登録との 違い を報告したか 6, 8

9.2 演習 1:8 つの評価項目

ある試験で、8 つの評価項目の p 値が次のようになりました。補正なし・Bonferroni・Holm・Hochberg・BH で、有意なものの数を比べてください。

sapply(c("none", "bonferroni", "holm", "hochberg", "BH"), function(m) sum(p.adjust(p, method = m) < 0.05))

補正なし 6、Bonferroni 2、Holm 3、Hochberg 3、BH 6。Holm は Bonferroni より多く見つけ、FDR を抑える BH はさらに多く見つけます。何を抑えたいか(FWER か FDR か)で結論が変わるので、事前に 決めておく必要があります。

9.2.1 1-2. Holm の方法を手で

上の p 値を小さい順に並べ、Holm の方法で比べる値(0.05 / (k − i + 1))と比べて、どこで止まるかを確かめてください。

data.frame(順位 = 1:k, p値 = ps, 比べる値 = 0.05 / (k:1), 有意 = ps < 0.05 / (k:1))

1 番目 0.001 < 0.00625、2 番目 0.006 < 0.00714、3 番目 0.008 < 0.00833 で有意、4 番目 0.012 > 0.01 で止まります。有意なのは 3 つです。

9.3 演習 2:主観的健康感と血圧

NHANES の 20 歳以上で、主観的健康感(HealthGen、5 段階)ごとに収縮期血圧を比べます。すべての組み合わせを、Tukey の方法で比べてください。

tk <- TukeyHSD(aov(BPSysAve ~ HealthGen, data = a))

10 の組み合わせのうち、Excellent と Vgood、Fair と Poor 以外の 8 つで有意な差があります。主観的健康感が悪いほど血圧が高い傾向ですが、年齢などの交絡があります。順序のある群なので、10 回の比較よりも、傾向の検定 1 回のほうが問いに合っているかもしれません(第 4 章)。

9.4 演習 3:途中で何度も検定すると

1 群 30 人の予定で始めた研究で、10 人、15 人、20 人、25 人、30 人(各群)が集まるたびに t 検定し、p < 0.05 になったら止めて「有意」とします。本当は差がないとき、何 % の研究が「有意」になるか、シミュレーションで確かめてください。

any(ps < 0.05)

約 12% です。「もう少し人数を増やしたら有意になるかも」と、データを見ながら人数を決めるのも、多重性の問題です(第 7 章)。

9.5 演習 4:自分の研究で

自分が計画している研究で、次のことを書き出してください。

  • 主要評価項目と、主張に使う検定のファミリー
  • 副次評価項目のうち、効果を主張したいものと、その検定の順番(固定順序)
  • 事前に決めるサブグループ(できれば 5 つ以下)
  • 探索的な解析として扱うもの

9.6 確認問題

ノート問題
  1. 独立な 10 回の検定(それぞれ有意水準 5%)で、どれか 1 つでも偽陽性になる確率はいくらですか
  2. Holm の方法が Bonferroni の方法より常によいと言えるのはなぜですか
  3. FWER と FDR の違いを説明してください。それぞれどんな場面で使いますか
  4. 固定順序法(階層的検定)で、順番を間違えるとどうなりますか
  5. 「男性では有意、女性では有意でない」から「女性には効かない」と結論してはいけないのはなぜですか
  6. 中間解析で、O’Brien–Fleming 型の境界がよく使われるのはなぜですか
  1. 1 − 0.95^10 ≈ 40%(第 1 章)
  2. どちらも検定どうしの関係によらず FWER を抑え、Bonferroni で有意なものは Holm でも必ず有意だから(第 2 章)
  3. FWER は「偽が 1 つでも混ざる確率」、FDR は「発見のうち偽の割合の平均」。FWER は検証的な結論(臨床試験の主要・副次評価項目)、FDR はスクリーニングなど探索的な場面で使う(第 3 章)
  4. 前の評価項目が有意にならないと、後ろの評価項目は(本当に効果があっても)すべて有意でないことになる(第 5 章)
  5. サブグループに分けると人数が減って検出力が下がるので、効果が同じでも有意でなくなることがよくある。効果の違いは交互作用の検定で調べ、それも事前に決めた少数に限る(第 6 章)
  6. 早い時点の基準がとても厳しく、最終解析の基準が 0.05 に近いので、検出力や必要な人数をほとんど変えずに、大きな効果のときだけ早く止められるから(第 7 章)