---
webr:
packages: [dplyr, ggplot2]
resources: [R/setup.R, data/framingham.rds]
cell-options:
autorun: true
---
{{< include ./_extensions/r-wasm/live/_knitr.qmd >}}
# 変数の数と過学習・p 値による変数選択 {#sec-overfitting}
```{webr}
#| include: false
source("R/setup.R")
```
「交絡因子はたくさん調整したほうが安心」と考えがちですが、**イベント(結果)の数に比べて変数が多すぎる** と、推定そのものが不安定になり、偏ります。
また、「p 値が小さい変数だけを残す」変数選択にも、見落としやすい問題があります。この章は、すべて **答えが分かっているシミュレーション** で確かめます。
## イベント数と変数の数
ロジスティック回帰で、曝露 X の本当のオッズ比を **2** とし、ほかに 10 個の共変量を調整します。
人数(=イベント数)を変えて、300 回ずつ研究をくり返します。
```{webr}
set.seed(1)
sim_epv <- function(n, k = 10) {
Z <- matrix(rnorm(n * k), n, k) # 共変量 10 個
X <- rbinom(n, 1, 0.5)
Y <- rbinom(n, 1, plogis(-2 + log(2) * X + Z %*% rep(0.3, k)))
fit <- suppressWarnings(glm(Y ~ X + Z, family = binomial))
c(イベント数 = sum(Y), OR = unname(exp(coef(fit)["X"])))
}
res <- lapply(c(150, 600, 2000), function(n) {
r <- replicate(300, sim_epv(n))
c(人数 = n, 平均イベント数 = mean(r[1, ]), 変数あたりイベント = mean(r[1, ]) / 11,
OR中央値 = median(r[2, ]), OR平均 = mean(r[2, ]),
OR_10パーセント点 = unname(quantile(r[2, ], 0.1)), OR_90パーセント点 = unname(quantile(r[2, ], 0.9)))
})
round(do.call(rbind, res), 2)
```
- イベントが約 30(**変数 1 つあたり約 3 イベント**)のとき、オッズ比の平均は **2.7** と過大で、研究によって 1.2〜4.3 とばらつく
- 変数 1 つあたり 10 イベント以上になると、ほぼ 2 に近づく
ロジスティック回帰は、イベントが少ないと **オッズ比を 1 から遠ざける方向に偏る** ことが知られています。
よく使われる目安に「**変数 1 つあたり 10 イベント**(EPV ≥ 10)」がありますが、状況によってはもっと必要とされます。
::: {.callout-tip}
## イベントが少ないときは
- 調整する変数を、DAG で **本当に必要な交絡因子** に絞る
- 多くの交絡因子を 1 つの **傾向スコア** にまとめる(第 7 章)
- 罰則つき回帰(Firth の方法など)を使う
:::
## p 値で変数を選ぶと、何が起きるか
候補の変数 20 個のうち、**5 個は本当に弱い効果**(ログオッズ 0.15)があり、**15 個はまったく効果がない** とします。
300 人のデータでモデルを作り、**p < 0.05 の変数だけを「意味がある」と選ぶ** ことを 300 回くり返します。
```{webr}
set.seed(2)
sim_sel <- function(n = 300) {
Z <- matrix(rnorm(n * 20), n, 20)
beta <- c(rep(0.15, 5), rep(0, 15))
Y <- rbinom(n, 1, plogis(-1 + Z %*% beta))
fit <- glm(Y ~ Z, family = binomial)
p <- summary(fit)$coefficients[-1, 4]; est <- coef(fit)[-1]
c(選ばれた本物 = sum(p[1:5] < 0.05), 選ばれた偽物 = sum(p[6:20] < 0.05),
選ばれた本物の推定値 = mean(est[1:5][p[1:5] < 0.05]))
}
round(rowMeans(replicate(300, sim_sel()), na.rm = TRUE), 2)
```
- 本当に効果がある 5 個のうち、選ばれるのは平均 **約 1 個**
- 効果のない 15 個のうち、平均 **約 0.8 個** が選ばれる
- 選ばれた「本物」の推定値の平均は **0.37**(本当は 0.15)。**2 倍以上に過大**
p 値で選ぶと、偶然大きく出た推定値ばかりが残ります(**勝者の呪い**)。選んだ変数の係数・p 値・信頼区間は、**選ばなかった場合の不確かさを無視** しているので、楽観的すぎます。
## 交絡因子を p 値で選んではいけない
交絡因子を「結果と有意に関連したら調整する」という方法で選ぶと、どうなるでしょうか。
Z は曝露 X に **強く** 関係し、結果 Y には **中程度に** 関係する交絡因子です。X の本当の効果は **0** とします。
```{webr}
set.seed(3)
sim_conf <- function(n = 200) {
Z <- rnorm(n)
X <- rbinom(n, 1, plogis(1.5 * Z)) # Z が X を強く決める
Y <- rbinom(n, 1, plogis(-1 + 0 * X + 0.4 * Z)) # X の本当の効果は 0
full <- glm(Y ~ X + Z, family = binomial)
crude <- glm(Y ~ X, family = binomial)
z_sig <- summary(full)$coefficients["Z", 4] < 0.05
c(Zが有意 = z_sig,
常にZで調整 = unname(coef(full)["X"]),
有意なときだけ調整 = unname(if (z_sig) coef(full)["X"] else coef(crude)["X"]),
調整なし = unname(coef(crude)["X"]))
}
round(rowMeans(replicate(500, sim_conf())), 3) # X の係数(対数オッズ比)の平均。本当は 0
```
- Z が有意になるのは、約 54% の研究だけ
- **常に Z で調整**:X の係数の平均はほぼ **0**(正しい)
- **有意なときだけ調整**:平均 **0.11**(バイアスが残る)
- 調整なし:0.42
Z は X と強く関係しているので、モデルの中では Z の効果が X と分け合われ、Z の p 値が大きくなりがちです。しかし、Z を外すとバイアスが戻ってきます。
**交絡因子は、結果との p 値ではなく、因果の構造(DAG)と事前の知識で選びます**。
## 実データで:ステップワイズ選択
R の `step()` は、AIC を基準に変数を出し入れして「よい」モデルを探します。Framingham で、24 年間の死亡に対して試してみます。
```{webr}
fd <- fram |> select(DEATH, CURSMOKE, AGE, SEX, BMI, SYSBP, DIABP, TOTCHOL, DIABETES, BPMEDS, PREVCHD) |> na.omit()
full <- glm(DEATH ~ ., family = binomial, data = fd)
chosen <- step(full, trace = 0)
names(coef(chosen))[-1] # 残った変数
setdiff(names(coef(full)), names(coef(chosen))) # 外れた変数
```
`step()` は、**死亡を予測するのに役立つ変数** を選んでいます。
「喫煙の効果」を知りたいときに必要な **交絡因子のセット** とは、目的が違います(予測と因果推論の違い)。この例では、BMI・拡張期血圧・総コレステロールが外れました。BMI は喫煙と死亡の交絡因子かもしれませんが、「予測に役立たない」という理由で外されています。
予測モデルを作るときも、選択した手順全体を交差検証などで評価しないと、性能を過大評価します(一致度ハンズオン第 6 章)。
::: {.callout-important}
## この章のまとめ
- **イベント数に比べて変数が多い**(変数 1 つあたり 10 イベント未満)と、オッズ比は過大に偏り、不安定になる
- **p 値で変数を選ぶ** と、選ばれた推定値は過大になり(勝者の呪い)、効果のない変数も選ばれる
- **交絡因子は p 値で選ばない**。外すとバイアスが戻る。DAG と事前の知識で決める
- ステップワイズ選択は「予測に役立つ変数」を選ぶ方法で、交絡の調整のための方法ではない
:::