---
webr:
packages: [dplyr, ggplot2]
resources: [R/setup.R, data/nhanes.rds]
cell-options:
autorun: true
timelimit: 300
---
{{< include ./_extensions/r-wasm/live/_knitr.qmd >}}
# サブグループ解析と「分岐する道」 {#sec-subgroup}
```{webr}
#| include: false
source("R/setup.R")
```
多重性がいちばん気づかれにくいのは、**サブグループ解析** と、**解析の選び方** です。
どちらも、1 つひとつの解析は正しいのに、「たくさん試して、目立つものを報告する」ことで偽陽性が紛れ込みます。
## 全員に同じ効果がある試験
1 群 400 人の試験で、新しい治療の効果は **全員に同じ**(標準化された差 0.2)だとします。
10 個の背景因子(性別、年齢、糖尿病…)で、参加者を 2 つずつのサブグループに分けて、効果を調べます。背景因子は効果に **まったく関係しません**。
```{webr}
factors <- c("男性", "65歳以上", "糖尿病", "喫煙", "肥満", "高血圧", "腎機能低下", "東日本", "冬に登録", "誕生月が奇数")
make_trial <- function(n = 800, effect = 0.2) {
d <- data.frame(treat = rep(0:1, each = n / 2))
for (f in factors) d[[f]] <- rbinom(n, 1, 0.5) # 背景因子(効果とは無関係)
d$y <- effect * d$treat + rnorm(n) # 効果は全員に同じ
d
}
set.seed(19)
d <- make_trial()
summary(lm(y ~ treat, data = d))$coef["treat", ]
```
全体では、効果は有意です(p = 0.0001)。サブグループごとに効果を推定します。
```{webr}
#| fig-height: 5.2
sub <- do.call(rbind, lapply(factors, function(f) do.call(rbind, lapply(1:0, function(l) {
fit <- lm(y ~ treat, data = d[d[[f]] == l, ])
ci <- confint(fit)["treat", ]
data.frame(因子 = f, 群 = ifelse(l == 1, "あり", "なし"), 推定値 = coef(fit)[["treat"]],
下限 = ci[1], 上限 = ci[2], p = summary(fit)$coef["treat", 4])
}))))
sub$ラベル <- factor(paste(sub$因子, sub$群), levels = rev(paste(sub$因子, sub$群)))
ggplot(sub, aes(推定値, ラベル, colour = p < 0.05)) +
geom_vline(xintercept = 0, colour = "grey50") +
geom_vline(xintercept = 0.2, linetype = 2, colour = "firebrick") +
geom_pointrange(aes(xmin = 下限, xmax = 上限)) +
scale_colour_manual(values = c("grey55", "steelblue"), labels = c("有意でない", "有意")) +
labs(x = "効果の推定値と 95% 信頼区間(赤の破線:本当の効果 0.2)", y = NULL, colour = NULL)
```
本当は全員に同じ効果があるのに、
- 20 個のサブグループのうち、**5 個で有意でない** 結果になっています
- 「〇〇の人には効かない」と読みたくなりますが、人数が半分になって検出力が下がっただけです
## 交互作用の検定
サブグループで効果が違うかどうかは、サブグループごとの p 値を比べるのではなく、**交互作用** の検定で調べます。
```{webr}
p_int <- sapply(factors, function(f) {
fit <- lm(as.formula(paste0("y ~ treat * `", f, "`")), data = d)
summary(fit)$coef[4, 4] # 4 番目の係数が交互作用
})
round(p_int, 3)
```
10 個の交互作用のうち、「**誕生月が奇数**」の交互作用が有意(p < 0.05)になりました。誕生月が効果を左右するはずはありません。偶然です。
10 回の交互作用の検定では、どれか 1 つが偶然有意になることは珍しくありません。
## 300 回繰り返すと
```{webr}
set.seed(1)
res <- replicate(300, {
d <- make_trial()
p_int <- sapply(factors, function(f)
summary(lm(as.formula(paste0("y ~ treat * `", f, "`")), data = d))$coef[4, 4])
p_sub <- unlist(lapply(factors, function(f) sapply(0:1, function(l)
summary(lm(y ~ treat, data = d[d[[f]] == l, ]))$coef["treat", 4])))
c(全体で有意 = summary(lm(y ~ treat, data = d))$coef["treat", 4] < 0.05,
有意でないサブグループがある = any(p_sub >= 0.05),
交互作用のどれかが有意 = any(p_int < 0.05))
})
rowMeans(res) # ブラウザでは 1 分ほどかかります
```
- 全体の効果は、約 81% の試験で有意(検出力 80% 程度の試験)
- しかし、**約 95%** の試験で「効果が有意でないサブグループ」が見つかり
- **約 41%** の試験で、どれかの交互作用が偶然有意になります
::: {.callout-warning}
## サブグループ解析の結果を信じる前に
- サブグループごとの p 値を比べない。「A 群で有意、B 群で有意でない」は、効果が違う証拠ではない。**交互作用の検定** を使う
- 交互作用の検定も、たくさん行えば偶然有意になる。**事前に決めた少数** のサブグループに絞り、その数を報告する
- 効果の違いに **生物学的な理由** があるか、**ほかの研究でも再現** されているか、全体の効果の **向きが逆** になるほどの違いか、を確かめる
- 有名な例:大規模な心筋梗塞の試験(ISIS-2)で、星座が双子座・天秤座の人ではアスピリンの効果がないように見えた
:::
## 分岐する道:解析の選び方の多重性
サブグループに限らず、データ解析には **選択肢** がたくさんあります。
- 評価項目はどれにするか(2 つの指標、またはその平均)
- 共変量で調整するか
- 外れ値を除くか
- 全員か、男性だけか、女性だけか
本当は **差がない** データで、これらの組み合わせ(3 × 2 × 2 × 3 = 36 通り)をすべて試し、**いちばん小さい p 値** を選んだらどうなるでしょうか。
```{webr}
fork <- function(n = 100) {
g <- rep(0:1, each = n / 2); x <- rnorm(n); sex <- rbinom(n, 1, 0.5)
y1 <- rnorm(n) + 0.3 * x; y2 <- 0.5 * y1 + sqrt(0.75) * rnorm(n) # 2 つの評価項目(差はない)
ps <- c()
for (y in list(y1, y2, (y1 + y2) / 2)) # 評価項目の選び方
for (adj in c(FALSE, TRUE)) # 共変量で調整するか
for (trim in c(FALSE, TRUE)) # 外れ値(±2 SD)を除くか
for (s in c("全員", "男性", "女性")) { # 対象者
keep <- if (s == "全員") rep(TRUE, n) else if (s == "男性") sex == 1 else sex == 0
if (trim) keep <- keep & abs(scale(y)) < 2
dd <- data.frame(y, g, x)[keep, ]
fit <- if (adj) lm(y ~ g + x, data = dd) else lm(y ~ g, data = dd)
ps <- c(ps, summary(fit)$coef["g", 4])
}
ps
}
set.seed(1)
P <- replicate(500, fork()) # ブラウザでは 1 分ほどかかります
c(最初に決めた1つの解析 = mean(P[1, ] < 0.05), `36通りから最小のp値` = mean(apply(P, 2, min) < 0.05))
```
最初に決めた 1 つの解析なら、偽陽性は約 5% です。しかし、36 通りの中から一番よいものを選ぶと、**約 33%** の研究で「有意な結果」が得られます。
1 つひとつは「もっともらしい」選択でも、**結果を見ながら選ぶ** と、p 値の意味が失われます。これを「**分岐する道の庭**」(garden of forking paths)や **p ハッキング** と呼びます。
::: {.callout-important}
## 対策:事前に決める
- **研究計画書・統計解析計画書(SAP)** に、主要評価項目・解析の方法・共変量・外れ値の扱い・サブグループを、データを見る前に書く
- 臨床試験は **事前登録**(jRCT、ClinicalTrials.gov など)し、計画と違う解析をしたら、その理由とともに報告する
- 探索的に試した解析は、**探索的と明記** し、試した数も報告する
:::
## やってみよう
::: {.callout-note}
## 練習
1. 背景因子を 10 個から 20 個に増やすと、交互作用のどれかが偶然有意になる割合はどうなりますか(公式 $1 - 0.95^k$ で見積もってください)
2. 分岐する道のシミュレーションで、「外れ値を除くか」の選択肢をなくす(`trim` を `FALSE` だけにする)と、最小の p 値が 0.05 未満になる割合はどう変わりますか
:::
```{webr}
#| autorun: false
# 1.
1 - 0.95^c(10, 20)
# 2.
set.seed(1)
P2 <- replicate(500, { p <- fork(); p[rep(c(TRUE, TRUE, TRUE, FALSE, FALSE, FALSE), 6)] }) # trim = FALSE の 18 通り
mean(apply(P2, 2, min) < 0.05)
```
::: {.callout-tip collapse="true"}
## 解答
1. 10 個で約 40%、20 個で約 64%(交互作用の検定どうしは独立に近いので、公式がよく当てはまります)
2. 約 22% に下がります。選択肢が減るほど偽陽性は減りますが、18 通りでもまだ 5% を大きく超えます
:::
::: {.callout-important}
## この章のまとめ
- 全員に同じ効果があっても、サブグループに分けると **「効かないサブグループ」** が見つかりやすい(人数が減って検出力が下がるだけ)
- 効果の違いは **交互作用の検定** で調べる。それも、たくさん行えば偶然有意になる
- 解析の選択肢(評価項目・調整・外れ値・対象者)を結果を見ながら選ぶと、偽陽性が大きく増える(36 通りで約 33%)
- 対策は、**データを見る前に決めて、書いておく** こと
:::