2 FWER を抑える:Bonferroni・Holm・Hochberg
第 1 章で、検定を何回もすると、どれか 1 つでも偽陽性になる確率(FWER)が大きくなることを見ました。 この章では、FWER を 5% 以下に抑える 方法を扱います。
例として、5 つの評価項目の p 値が次のようになったとします。
補正しなければ、5 つすべてが有意です。
2.1 Bonferroni の方法
いちばん単純な方法は、有意水準を検定の数 k で割る ことです(5 つなら 0.05 / 5 = 0.01)。 同じことですが、p 値を k 倍 して(1 を超えたら 1)、0.05 と比べることもできます(補正した p 値)。
Bonferroni の方法では、有意なのは血圧と血糖だけになりました。
Bonferroni の方法は、検定どうしがどんな関係にあっても、FWER を α 以下に抑えます。 「どれか 1 つでも偽陽性になる確率」は、「それぞれが偽陽性になる確率の合計」(α/k × k = α)以下になるからです。
2.2 Holm の方法
Bonferroni の方法は、常に全員を k で割る ので、保守的(有意になりにくい)です。 Holm の方法 は、p 値の小さい順に、割る数を 1 つずつ減らしていきます。
- p 値を小さい順に並べる:\(p_{(1)} \le p_{(2)} \le \dots \le p_{(k)}\)
- \(p_{(1)}\) を α/k と比べる。有意なら次へ、有意でなければ ここで止める(残りはすべて有意でない)
- \(p_{(2)}\) を α/(k − 1) と比べる。有意なら次へ…
- \(p_{(i)}\) を α/(k − i + 1) と比べる…
- 血圧:0.001 < 0.01 → 有意
- 血糖:0.008 < 0.0125 → 有意
- LDL:0.012 < 0.0167 → 有意
- 体重:0.030 > 0.025 → ここで止める。体重と睡眠は有意でない
Holm の方法では、LDL も有意になりました。R では p.adjust() で補正した p 値を計算できます。
Holm の方法は、Bonferroni の方法と同じく、検定どうしがどんな関係にあっても FWER を α 以下に抑えます。そのうえで、Bonferroni の方法で有意なものは、Holm の方法でも必ず有意です。 FWER を抑えたいなら、Bonferroni の方法ではなく Holm の方法 を使います。
2.3 Hochberg と Hommel の方法
Hochberg の方法 は、Holm の方法と同じ基準を、大きい順に 確かめます(ステップアップ法)。
- いちばん大きい \(p_{(k)}\) を α と比べる。有意なら、すべて有意 で終わり
- 有意でなければ、\(p_{(k-1)}\) を α/2 と比べる。有意なら、それより小さいものはすべて有意…
Hochberg の方法では、睡眠(0.04 < 0.05)が有意なので、5 つすべてが有意 になりました。Hommel の方法 は、さらに少しだけ検出力が高い方法です。
Hochberg と Hommel の方法は、検定どうしが 独立か、正の相関を持つ ときに、FWER を α 以下に抑えます(臨床試験の評価項目では、たいてい成り立ちます)。 負の相関があるかもしれないときや、前提を説明しにくいときは、どんな関係でも使える Holm の方法を選びます。
2.4 シミュレーションで比べる
1 群 50 人の 2 群比較で、10 個の評価項目のうち 3 つだけに本当の効果(標準化された差 0.5)がある試験を 2000 回やります。
- 補正しないと、効果のない 7 つの評価項目のどれかが有意になる確率は 約 31%
- 4 つの補正方法は、いずれも FWER を約 5% に抑えています
- その代わり、効果のある評価項目を検出する割合は、補正なしの約 71% から 約 37〜38% に下がります。Holm・Hochberg・Hommel は Bonferroni よりわずかに高くなっています
FWER を抑えると、本当の効果を見逃しやすくなります(検出力が下がる)。 評価項目を増やすほど、1 つひとつの検出力は下がります。検定の数を減らす(主要評価項目を 1 つに絞る、事前に決めた比較だけを行う)ことが、いちばん効果的な対策です(第 5 章)。
2.5 信頼区間も補正する
Bonferroni の考え方は、信頼区間にも使えます。5 つの評価項目の差の信頼区間を、すべて同時に 本当の値を含む確率を 95% 以上にしたいなら、それぞれ 99%(1 − 0.05/5)信頼区間を計算します。
補正した p 値だけでなく、補正した(同時)信頼区間を示すと、効果の大きさと不確かさが読み取れます。
2.6 やってみよう
- 次の 6 つの p 値を、Bonferroni・Holm・Hochberg の方法で補正し、有意なものを数えてください:0.002, 0.009, 0.014, 0.020, 0.200, 0.450
- 上のシミュレーションで、効果のある評価項目を 3 つから 6 つに増やすと、Holm の方法で「検出した割合」はどう変わりますか
- Bonferroni 1 つ(0.002 だけ。0.009 × 6 = 0.054)、Holm 2 つ、Hochberg 2 つ。Holm では、0.002 < 0.05/6、0.009 < 0.05/5 で有意、3 番目の 0.014 を 0.05/4 = 0.0125 と比べて止まります。Hochberg でも、大きい順に 0.45 > 0.05、0.20 > 0.025、0.020 > 0.0167、0.014 > 0.0125 と有意にならず、0.009 < 0.01 で、それより小さい 2 つが有意になります
- 約 39% と、わずかに上がります。Holm の方法は、有意なものが見つかるたびに割る数が減るので、効果のある評価項目が多いほど、残りも有意になりやすくなります(Bonferroni の方法ではこの上乗せはありません)
- Bonferroni:α/k と比べる(p × k)。どんな関係の検定でも FWER を抑えるが保守的
- Holm:小さい順に α/k, α/(k − 1), … と比べ、有意でなくなったら止める。Bonferroni より常によく、前提もない。FWER を抑えるならまずこれ
- Hochberg・Hommel:さらに検出力が高いが、検定が独立か正の相関を持つことが前提
- 補正すると検出力が下がる。検定の数を減らす のがいちばんの対策
- 信頼区間も補正できる(Bonferroni なら 1 − α/k の信頼区間)