---
webr:
packages: [dplyr, ggplot2]
resources: [R/setup.R, data/nhanes_bp.rds, data/framingham.rds]
cell-options:
autorun: true
---
{{< include ./_extensions/r-wasm/live/_knitr.qmd >}}
# ROC 曲線と AUC {#sec-roc}
```{webr}
#| include: false
source("R/setup.R")
d <- fram |> filter(!is.na(SYSBP), !is.na(TOTCHOL), !is.na(BMI), !is.na(GLUCOSE))
```
第 5 章では、カットオフを動かすと感度と特異度がトレードオフになることを見ました。
すべてのカットオフでの感度と (1 − 特異度) を結んだのが **ROC 曲線**、その下の面積が **AUC**(c 統計量)です。
この章では、Framingham の 1 回目の診察から **24 年間に心血管疾患(CVD)を起こすか** を予測する、という例で考えます。
```{webr}
nrow(d)
mean(d$CVD) # 24 年間に CVD を起こした割合
```
## 収縮期血圧 1 つで予測する
```{webr}
roc_points <- function(score, y) {
cuts <- sort(unique(score), decreasing = TRUE)
data.frame(カットオフ = cuts,
感度 = sapply(cuts, function(k) mean(score[y == 1] >= k)),
偽陽性率 = sapply(cuts, function(k) mean(score[y == 0] >= k))) # 1 - 特異度
}
roc_sbp <- roc_points(d$SYSBP, d$CVD)
head(roc_sbp[roc_sbp$カットオフ %in% c(180, 160, 140, 130, 120), ], 5)
```
```{webr}
#| fig-height: 4.5
ggplot(roc_sbp, aes(偽陽性率, 感度)) +
geom_step(direction = "vh", linewidth = 1, colour = "steelblue") +
geom_abline(linetype = 2, colour = "grey50") +
coord_equal() +
labs(x = "偽陽性率(1 − 特異度)", y = "感度", title = "収縮期血圧で 24 年間の CVD を予測する ROC 曲線")
```
左上に近いほど、よく判別できる検査です。対角線(点線)は、コインを投げて決めるのと同じ(判別力なし)です。
## AUC の意味
AUC は、ROC 曲線の下の面積です。もうひとつ、とても分かりやすい意味があります。
> **CVD を起こした人と起こさなかった人を 1 人ずつランダムに選んだとき、起こした人のほうが値が高い確率**
これは、順位を使った Mann-Whitney の統計量と同じです。
```{webr}
auc <- function(score, y) { # 同順位は 0.5 として数える
r <- rank(score); n1 <- sum(y == 1); n0 <- sum(y == 0)
(sum(r[y == 1]) - n1 * (n1 + 1) / 2) / (n1 * n0)
}
auc(d$SYSBP, d$CVD)
# 実際にペアを作って確かめる
set.seed(1)
case <- sample(d$SYSBP[d$CVD == 1], 1e5, replace = TRUE)
ctrl <- sample(d$SYSBP[d$CVD == 0], 1e5, replace = TRUE)
mean(case > ctrl) + 0.5 * mean(case == ctrl)
```
収縮期血圧の AUC は **0.66** です。CVD を起こした人のほうが血圧が高い組み合わせは、66% にすぎません。
## 複数の変数を組み合わせる
年齢・性別・血圧・コレステロール・喫煙・BMI・糖尿病を、ロジスティック回帰で組み合わせて「リスクスコア」を作ります。
```{webr}
fit <- glm(CVD ~ AGE + SEX + SYSBP + TOTCHOL + CURSMOKE + BMI + DIABETES, family = binomial, data = d)
d$リスク <- fitted(fit)
c(収縮期血圧 = auc(d$SYSBP, d$CVD), 年齢 = auc(d$AGE, d$CVD), リスクスコア = auc(d$リスク, d$CVD))
```
```{webr}
#| fig-height: 4.5
bind_rows(cbind(roc_points(d$SYSBP, d$CVD), 指標 = "収縮期血圧"),
cbind(roc_points(d$リスク, d$CVD), 指標 = "リスクスコア")) |>
ggplot(aes(偽陽性率, 感度, colour = 指標)) +
geom_step(direction = "vh", linewidth = 1) +
geom_abline(linetype = 2, colour = "grey50") +
coord_equal() + labs(x = "偽陽性率(1 − 特異度)", y = "感度", colour = NULL)
```
リスクスコアの AUC は **0.74** です。24 年先の発症を、1 回の診察だけで完璧に予測することはできません。
## 「最適なカットオフ」の楽観
よく使われるのが、**Youden 指数**(感度 + 特異度 − 1)が最大になるカットオフを「最適」とする方法です。
ここで問題になるのは、**カットオフを選んだのと同じデータで、その性能を報告する** ことです。
データを半分に分け、片方(学習用)でカットオフを選び、もう片方(検証用)で性能を確かめます。
```{webr}
set.seed(1)
idx <- sample(nrow(d), nrow(d) / 2)
train <- d[idx, ]; test <- d[-idx, ]
youden <- function(score, y, k) mean(score[y == 1] >= k) + mean(score[y == 0] < k) - 1
cands <- sort(unique(train$SYSBP))
J <- sapply(cands, function(k) youden(train$SYSBP, train$CVD, k))
best <- cands[which.max(J)]
c(選んだカットオフ = best,
学習用データでのYouden = max(J),
検証用データでのYouden = youden(test$SYSBP, test$CVD, best))
```
学習用データで選んだカットオフ(133 mmHg)の Youden 指数は 0.27 ですが、新しいデータでは 0.22 に下がります。
**選んだデータの偶然のでこぼこに合わせてしまう** ためです(楽観、optimism)。
## 予測モデルの楽観:変数が多く、人数が少ないと
同じことは、予測モデルの AUC でも起こります。
Framingham から **200 人** だけを取り出し、本当の予測因子 7 つに加えて、**CVD とまったく関係のない乱数の変数を 30 個** 入れたモデルを作ってみます。
```{webr}
set.seed(4)
small <- d |> slice_sample(n = 200)
noise <- as.data.frame(matrix(rnorm(200 * 30), 200, dimnames = list(NULL, paste0("雑音", 1:30))))
small2 <- cbind(small[, c("CVD", "AGE", "SEX", "SYSBP", "TOTCHOL", "CURSMOKE", "BMI", "DIABETES")], noise)
fit_s <- suppressWarnings(glm(CVD ~ ., family = binomial, data = small2))
# 残りの人で検証(雑音の変数は、同じように乱数で作る)
rest <- d |> anti_join(small, by = "RANDID")
noise_r <- as.data.frame(matrix(rnorm(nrow(rest) * 30), nrow(rest), dimnames = list(NULL, paste0("雑音", 1:30))))
rest2 <- cbind(rest, noise_r)
c(作ったデータでのAUC = auc(fitted(fit_s), small2$CVD),
新しいデータでのAUC = auc(predict(fit_s, rest2), rest2$CVD))
```
作ったデータでは AUC が **0.85** と高く見えますが、新しいデータでは **0.62** に下がります(7 変数のモデルを全員で作ったときの 0.74 より低い)。
人数(特にイベント数)に比べて変数が多いモデルは、**作ったデータでの性能を信用できません**。
性能は、**別のデータ(外部検証)**、または **交差検証・ブートストラップ** で、楽観を補正して報告します。
## AUC だけでは足りない:較正
AUC は **順位** だけを見ています。予測した確率を全部半分にしても、順位は変わらないので AUC は同じです。
```{webr}
c(元のスコア = auc(d$リスク, d$CVD), 確率を半分にしたスコア = auc(d$リスク / 2, d$CVD))
```
しかし、「あなたの 24 年間の CVD リスクは 15%」と伝えるなら、**予測した確率が、実際の発症割合と合っているか**(**較正**、calibration)が大切です。
予測リスクで 10 群に分けて、予測と実際を比べます。
```{webr}
#| fig-height: 4.2
calib <- function(p, y) {
tibble(p, y) |>
mutate(群 = ntile(p, 10)) |>
group_by(群) |>
summarise(予測 = mean(p), 実際 = mean(y))
}
bind_rows(cbind(calib(d$リスク, d$CVD), スコア = "元のモデル"),
cbind(calib(d$リスク / 2, d$CVD), スコア = "確率を半分にしたモデル")) |>
ggplot(aes(100 * 予測, 100 * 実際, colour = スコア)) +
geom_abline(linetype = 2) + geom_point(size = 2) + geom_line() +
coord_equal(xlim = c(0, 80), ylim = c(0, 80)) +
labs(x = "予測した発症確率 (%)", y = "実際の発症割合 (%)", colour = NULL,
title = "較正プロット(点線:予測 = 実際)")
```
元のモデルは点線の上に並びますが、確率を半分にしたモデルは、AUC は同じなのに **リスクを系統的に過小評価** しています。
別の国・別の時代の集団にモデルを当てはめると、このような較正のずれがよく起こります(例:Framingham のリスク式を、心疾患の少ない集団にそのまま使うと、リスクを過大評価する)。
::: {.callout-important}
## この章のまとめ
- ROC 曲線は、すべてのカットオフの感度と偽陽性率。**AUC = 発症した人のほうが値が高い確率**
- 「最適なカットオフ」や予測モデルの性能を、**作ったのと同じデータで報告すると楽観的** になる。別のデータ・交差検証・ブートストラップで確かめる
- 人数(イベント数)に比べて変数が多いモデルは、特に楽観が大きい
- AUC は順位だけを見る。リスクの値を使うなら **較正** も確かめる
:::