6  サブグループ解析と「分岐する道」

多重性がいちばん気づかれにくいのは、サブグループ解析 と、解析の選び方 です。 どちらも、1 つひとつの解析は正しいのに、「たくさん試して、目立つものを報告する」ことで偽陽性が紛れ込みます。

6.1 全員に同じ効果がある試験

1 群 400 人の試験で、新しい治療の効果は 全員に同じ(標準化された差 0.2)だとします。 10 個の背景因子(性別、年齢、糖尿病…)で、参加者を 2 つずつのサブグループに分けて、効果を調べます。背景因子は効果に まったく関係しません。

全体では、効果は有意です(p = 0.0001)。サブグループごとに効果を推定します。

本当は全員に同じ効果があるのに、

  • 20 個のサブグループのうち、5 個で有意でない 結果になっています
  • 「〇〇の人には効かない」と読みたくなりますが、人数が半分になって検出力が下がっただけです

6.2 交互作用の検定

サブグループで効果が違うかどうかは、サブグループごとの p 値を比べるのではなく、交互作用 の検定で調べます。

10 個の交互作用のうち、「誕生月が奇数」の交互作用が有意(p < 0.05)になりました。誕生月が効果を左右するはずはありません。偶然です。 10 回の交互作用の検定では、どれか 1 つが偶然有意になることは珍しくありません。

6.3 300 回繰り返すと

  • 全体の効果は、約 81% の試験で有意(検出力 80% 程度の試験)
  • しかし、約 95% の試験で「効果が有意でないサブグループ」が見つかり
  • 約 41% の試験で、どれかの交互作用が偶然有意になります
警告サブグループ解析の結果を信じる前に
  • サブグループごとの p 値を比べない。「A 群で有意、B 群で有意でない」は、効果が違う証拠ではない。交互作用の検定 を使う
  • 交互作用の検定も、たくさん行えば偶然有意になる。事前に決めた少数 のサブグループに絞り、その数を報告する
  • 効果の違いに 生物学的な理由 があるか、ほかの研究でも再現 されているか、全体の効果の 向きが逆 になるほどの違いか、を確かめる
  • 有名な例:大規模な心筋梗塞の試験(ISIS-2)で、星座が双子座・天秤座の人ではアスピリンの効果がないように見えた

6.4 分岐する道:解析の選び方の多重性

サブグループに限らず、データ解析には 選択肢 がたくさんあります。

  • 評価項目はどれにするか(2 つの指標、またはその平均)
  • 共変量で調整するか
  • 外れ値を除くか
  • 全員か、男性だけか、女性だけか

本当は 差がない データで、これらの組み合わせ(3 × 2 × 2 × 3 = 36 通り)をすべて試し、いちばん小さい p 値 を選んだらどうなるでしょうか。

最初に決めた 1 つの解析なら、偽陽性は約 5% です。しかし、36 通りの中から一番よいものを選ぶと、約 33% の研究で「有意な結果」が得られます。 1 つひとつは「もっともらしい」選択でも、結果を見ながら選ぶ と、p 値の意味が失われます。これを「分岐する道の庭」(garden of forking paths)や p ハッキング と呼びます。

重要対策:事前に決める
  • 研究計画書・統計解析計画書(SAP) に、主要評価項目・解析の方法・共変量・外れ値の扱い・サブグループを、データを見る前に書く
  • 臨床試験は 事前登録(jRCT、ClinicalTrials.gov など)し、計画と違う解析をしたら、その理由とともに報告する
  • 探索的に試した解析は、探索的と明記 し、試した数も報告する

6.5 やってみよう

ノート練習
  1. 背景因子を 10 個から 20 個に増やすと、交互作用のどれかが偶然有意になる割合はどうなりますか(公式 \(1 - 0.95^k\) で見積もってください)
  2. 分岐する道のシミュレーションで、「外れ値を除くか」の選択肢をなくす(trim を FALSE だけにする)と、最小の p 値が 0.05 未満になる割合はどう変わりますか
  1. 10 個で約 40%、20 個で約 64%(交互作用の検定どうしは独立に近いので、公式がよく当てはまります)
  2. 約 22% に下がります。選択肢が減るほど偽陽性は減りますが、18 通りでもまだ 5% を大きく超えます
重要この章のまとめ
  • 全員に同じ効果があっても、サブグループに分けると 「効かないサブグループ」 が見つかりやすい(人数が減って検出力が下がるだけ)
  • 効果の違いは 交互作用の検定 で調べる。それも、たくさん行えば偶然有意になる
  • 解析の選択肢(評価項目・調整・外れ値・対象者)を結果を見ながら選ぶと、偽陽性が大きく増える(36 通りで約 33%)
  • 対策は、データを見る前に決めて、書いておく こと