8  いつ補正するか・報告の書き方

ここまで、多重性を補正するさまざまな方法を見てきました。最後に、「いつ補正すべきで、いつ補正しなくてよいか」と、結果の書き方を考えます。

8.1 「ファミリー」を決める

補正は、「同じ問いに対する検定のまとまり(ファミリー)」の中で行います。何をファミリーとするかは、統計ではなく 研究の問い で決まります。

場面 ファミリー 補正
主要評価項目が 1 つ その 1 つ 不要
「A・B・C の どれか 1 つでも 有意なら有効」と主張する A・B・C 必要(第 2・5 章)
A・B・C の すべて が有意なら有効(co-primary) ― 不要(検出力は下がる)(第 5 章)
4 群の すべての組み合わせ を比べて、違う組を探す 6 つの比較 必要(第 4 章)
1000 個のマーカーから候補を探す 1000 個 FDR で(第 3 章)
別々の問い(効果と安全性、論文の別々の仮説) それぞれ別 ファミリーをまたいだ補正は不要
探索的な解析・副次評価項目(主張に使わない) ― 補正しないことが多いが、探索的と明記 し、検定の数を示す
ノート補正しすぎも問題

「論文の中のすべての p 値を Bonferroni で補正する」のは、別々の問いをひとまとめにしてしまい、検出力を必要以上に下げます。 補正の目的は、「主張したい結論 が偶然である確率を抑える」ことです。主張に使う検定のまとまりを、事前に決めて補正します。

8.2 補正した p 値と、名目上の p 値

副次評価項目の結果を、補正なしの 名目上の p 値 と、Holm で補正した p 値の両方で示す例です。

  • 名目上の p 値では、3 つが有意(p < 0.05)に見えますが、Holm で補正すると有意なのは収縮期血圧だけです
  • 差と 95% 信頼区間 をあわせて示すと、どの評価項目にどれくらいの効果がありそうかが分かります。p 値の有意・有意でないだけで判断しないことが大切です

8.3 書き方の例

ヒント方法の書き方の例

主要評価項目は 12 週後の収縮期血圧の変化量とし、有意水準は両側 5% とした。副次評価項目のうち、拡張期血圧・LDL コレステロール・HbA1c は、主要評価項目が有意な場合に限り、この順で各 5% の固定順序法により検定した。その他の副次評価項目と、事前に定めた 4 つのサブグループ(性別、年齢 65 歳以上、糖尿病、腎機能低下)の解析は探索的なものとし、名目上の p 値と 95% 信頼区間を示した(多重性の補正は行っていない)。

この書き方のポイントは、

  1. 主張に使う検定(主要評価項目 → 固定順序の 3 つ)と、その 補正の方法 が明確
  2. 探索的な解析は、その数 と、補正していないことが明記されている
  3. サブグループは 事前に定めた ものに限られ、その数が分かる

です。

8.4 多重性の報告チェックリスト

重要報告に含めるもの
  1. 主要評価項目 と、主張に使う検定の ファミリー
  2. 補正の方法(Holm、固定順序、グラフ的方法、Tukey、BH など)と、それを 事前に 決めたこと
  3. 補正した p 値、または補正した有意水準。可能なら 補正した(同時)信頼区間
  4. 行ったすべての検定の 数(評価項目、群の比較、サブグループ、感度分析)
  5. 探索的な解析は 探索的と明記、名目上の p 値であることを示す
  6. 中間解析の回数・時点・境界(α 消費関数)と、早期に止めたかどうか
  7. 計画書・統計解析計画書・試験登録との 違い と、その理由

8.5 補正以外の考え方

多重性への対応は、p 値の補正だけではありません。

  • 効果の大きさと信頼区間 を中心に報告し、p 値の 0.05 という境目に頼りすぎない
  • 再現性:探索的に見つかった結果は、別のデータで確かめるまで仮説として扱う
  • 階層ベイズ・縮小推定:多数のサブグループや評価項目の効果を、全体の平均に向かって「縮めて」推定することで、偶然の極端な結果を和らげる方法もある

8.6 やってみよう

ノート練習
  1. 上の表の 6 つの副次評価項目を、BH の方法(FDR)で補正すると、有意なものはいくつになりますか。この場面で FDR を使うのは適切でしょうか
  2. 自分の分野の論文を 1 つ選び、主要評価項目・行った検定の数・補正の方法が、上のチェックリストのどこまで報告されているか確かめてください
  1. BH で補正すると、収縮期血圧(0.003)だけが 0.05 未満です(拡張期血圧・LDL は 0.08)。ただし、臨床試験の副次評価項目で効果を 主張する なら、FDR ではなく FWER を抑える方法(固定順序・Holm など)が求められます。FDR は、候補を探す探索的な場面向きです(第 3 章)
  2. 主要評価項目は書かれていても、行った検定の総数や、サブグループが事前に決めたものかどうかが書かれていない論文は少なくありません
重要この章のまとめ
  • 補正は「主張に使う検定のまとまり(ファミリー)」の中で行う。ファミリーは研究の問いで決まる
  • 別々の問いをまとめて補正しすぎると、検出力を必要以上に失う
  • 探索的な解析は、補正しない代わりに 探索的と明記 し、検定の数を示す
  • 補正した p 値だけでなく、効果の大きさと信頼区間 を示す
  • 補正の方法とファミリーは、データを見る前に 計画書に書く