---
webr:
packages: [dplyr, ggplot2, mvtnorm]
resources: [R/setup.R, data/nhanes.rds]
cell-options:
autorun: true
timelimit: 300
---
{{< include ./_extensions/r-wasm/live/_knitr.qmd >}}
# 中間解析 {#sec-interim}
```{webr}
#| include: false
source("R/setup.R")
library(mvtnorm)
```
長い臨床試験では、**途中でデータを見て**、効果がはっきりしていれば早く終える(参加者を早く有効な治療に切り替える)ことがあります。これを **中間解析** と呼びます。
しかし、データを見るたびに検定をすると、それも多重性の問題になります。
## データを何度も見ると
予定人数の 1/5、2/5、…、5/5 が集まるたびに検定し、**p < 0.05 になったらその時点で試験を止めて「有効」** とする試験を考えます。
本当は **効果がない** としたら、どれくらいの確率で「有効」になるでしょうか。
計算を速くするため、累積したデータの検定統計量(z 値)を直接作ります。各時点の z 値は、それまでに集まったデータ全体から計算されるので、互いに強く相関しています。
```{webr}
K <- 5 # データを見る回数(中間解析 4 回 + 最終解析)
sim_z <- function(reps, theta = 0) { # theta:最終解析での z 値の期待値(効果の大きさ)
inc <- matrix(rnorm(reps * K, theta / sqrt(K), 1), reps) # 各期間に増えた分
t(apply(inc, 1, cumsum)) / sqrt(matrix(1:K, reps, K, byrow = TRUE)) # 各時点の z 値
}
set.seed(1)
Z0 <- sim_z(20000) # 効果がない試験 20000 回
mean(apply(abs(Z0) > qnorm(0.975), 1, any)) # どこかの時点で p < 0.05 になった割合
```
5 回データを見ると、効果がないのに約 **14%** の試験で「有効」になります。
相関があるので、独立な 5 回の検定(23%)ほどではありませんが、5% を大きく超えています。
```{webr}
#| fig-height: 3.4
set.seed(3)
paths <- data.frame(時点 = rep(1:K, 8), z = as.vector(t(sim_z(8))), 試験 = factor(rep(1:8, each = K)))
ggplot(paths, aes(時点, z, group = 試験)) +
geom_line(colour = "grey50") + geom_point(colour = "grey50") +
geom_hline(yintercept = c(-1.96, 1.96), linetype = 2, colour = "firebrick") +
labs(x = "データを見る時点(予定人数の k/5)", y = "z 値", subtitle = "効果のない試験 8 本の z 値の動き")
```
効果がなくても、z 値は試験の途中で上下に揺れます。その途中で一度でも ±1.96 を超えたら止める、というルールでは、偽陽性が増えるのです。
## 境界を厳しくする
中間解析をしても FWER(全体の第一種の過誤)を 5% に保つには、各時点の **境界** を ±1.96 より厳しくします。代表的な 2 つの方法があります。
- **Pocock の境界**:すべての時点で **同じ** 境界
- **O'Brien–Fleming の境界**:**最初はとても厳しく**、だんだん緩める。最終解析の境界は 1.96 に近い
どちらも、「5 時点のどこかで境界を超える確率」が 5% になるように決めます。各時点の z 値の相関(時点 i と j で $\sqrt{i/j}$)から、多変量正規分布で計算できます。
```{webr}
tk <- (1:K) / K
S <- outer(tk, tk, function(a, b) sqrt(pmin(a, b) / pmax(a, b))) # 各時点の z 値の相関
cross <- function(b) 1 - pmvnorm(lower = -b, upper = b, corr = S)[1] # どこかで境界を超える確率
c_pocock <- uniroot(function(c) cross(rep(c, K)) - 0.05, c(1.9, 3))$root
c_obf <- uniroot(function(C) cross(C * sqrt(K / (1:K))) - 0.05, c(1.5, 3))$root
bounds <- rbind(素朴 = rep(1.96, K), Pocock = rep(c_pocock, K), `O'Brien-Fleming` = c_obf * sqrt(K / (1:K)))
colnames(bounds) <- paste0(1:K, "/5")
round(bounds, 3)
round(2 * pnorm(-bounds), 4) # 各時点で有意とする p 値の基準
```
| 方法 | 各時点の p 値の基準 | 特徴 |
|---|---|---|
| Pocock | すべて 0.016 | 早い時点で止めやすいが、最終解析でも 0.016 と厳しい |
| O'Brien–Fleming | 0.000005 → 0.0013 → 0.008 → 0.023 → **0.041** | 早い時点ではよほどの差がないと止まらない。最終解析はほぼ 0.05 |
```{webr}
set.seed(1)
theta <- qnorm(0.975) + qnorm(0.90) # 中間解析なしなら検出力 90% になる効果
Z1 <- sim_z(20000, theta)
evaluate <- function(b) {
first <- function(Z) apply(abs(Z) > matrix(b, nrow(Z), K, byrow = TRUE), 1, function(h) if (any(h)) which(h)[1] else NA)
f0 <- first(Z0); f1 <- first(Z1)
c(第一種の過誤 = mean(!is.na(f0)), 検出力 = mean(!is.na(f1)),
平均の人数 = mean(ifelse(is.na(f1), K, f1)) / K) # 効果があるとき、予定人数の何割で終わるか
}
rbind(中間解析なし = evaluate(c(rep(Inf, K - 1), qnorm(0.975))),
素朴 = evaluate(bounds[1, ]), Pocock = evaluate(bounds[2, ]), `O'Brien-Fleming` = evaluate(bounds[3, ])) |> round(3)
```
- 素朴な方法(毎回 1.96)は、第一種の過誤が約 14%
- Pocock と O'Brien–Fleming は、どちらも約 5% に保たれています
- 効果があるとき、Pocock は平均して予定人数の **約 62%** で終わりますが、検出力は 83% に下がります(最終解析の基準が厳しいため)
- O'Brien–Fleming は、検出力をほとんど落とさず(89%)、平均して予定人数の **約 74%** で終わります
::: {.callout-tip}
## O'Brien–Fleming 型がよく使われる理由
- 最終解析の基準が 0.05 に近いので、中間解析をしても **検出力や必要な人数がほとんど変わらない**
- 早い時点で止めるのは、よほど大きな効果のときだけ。少ない人数で、偶然の大きな差に振り回されない
- 実際の試験では、データを見る時点が予定どおりにならないので、**α 消費関数**(Lan–DeMets)で、見た時点に応じた境界を計算します(R の gsDesign・rpact パッケージ)
:::
## 早く止めた試験の効果は大きすぎる
O'Brien–Fleming の境界で、早い時点で止まった試験の **効果の推定値** を見てみます。本当の効果を 1 としたときの比で表します。
```{webr}
b_obf <- bounds[3, ]
hit <- Z1 > matrix(b_obf, nrow(Z1), K, byrow = TRUE)
stop_at <- apply(hit, 1, function(h) if (any(h)) which(h)[1] else K)
est <- Z1[cbind(seq_len(nrow(Z1)), stop_at)] / sqrt(stop_at / K) / theta # 止めた時点の推定値 ÷ 本当の効果
data.frame(止めた時点 = paste0(1:K, "/5"),
試験の数 = as.vector(table(factor(stop_at, levels = 1:K))),
推定値の平均 = round(tapply(est, factor(stop_at, levels = 1:K), mean), 2))
```
2/5 の時点で止まった試験の推定値は、平均すると本当の効果の **約 1.8 倍** です(5/5 の行には、最後まで境界を超えなかった試験も含まれるので、逆に小さめになります)。
早い時点で境界を超えるのは、たまたま大きな差が出たときだからです(第 4 章の「勝者の呪い」と同じしくみ。[サンプルサイズハンズオン](/study/samplesize_hands_on/) 第 4 章)。
::: {.callout-warning}
## 中間解析の注意
- 中間解析の回数・時点・境界(α 消費関数)は、**試験開始前に** 計画書に書く
- 中間解析の結果は、**独立データモニタリング委員会** だけが見る。試験を運営する人が結果を知ると、試験の進め方が変わってしまう
- 早期に止めた試験の効果は **過大** になりやすい。とくに少ない人数で止めた試験の結果は、慎重に解釈する
- 「無益性」(効果がなさそうなので止める)の中間解析は、第一種の過誤を増やさないが、検出力は下がる
:::
## やってみよう
::: {.callout-note}
## 練習
1. データを見る回数を 5 回から 10 回にすると、素朴な方法(毎回 p < 0.05)の第一種の過誤はどうなりますか
2. 中間解析が 1 回だけ(予定人数の半分、K = 2)のとき、O'Brien–Fleming の境界を計算してください
:::
```{webr}
#| autorun: false
# 1.
K <- 10
set.seed(1)
mean(apply(abs(sim_z(20000)) > qnorm(0.975), 1, any))
# 2.
K <- 2
tk <- (1:K) / K; S <- outer(tk, tk, function(a, b) sqrt(pmin(a, b) / pmax(a, b)))
C <- uniroot(function(C) 1 - pmvnorm(lower = -C * sqrt(K / (1:K)), upper = C * sqrt(K / (1:K)), corr = S)[1] - 0.05, c(1.5, 3))$root
round(C * sqrt(K / (1:K)), 3)
round(2 * pnorm(-C * sqrt(K / (1:K))), 4)
K <- 5 # 元に戻す
```
::: {.callout-tip collapse="true"}
## 解答
1. 約 19% に増えます。データを見る回数を増やすほど、偽陽性は増え続けます(無限に見続ければ、いつかは必ず有意になります)
2. 境界は 2.797(中間)と 1.977(最終)、p 値の基準は 0.0052 と 0.048 です。中間解析が 1 回なら、最終解析はほぼ 0.05 で検定できます
:::
::: {.callout-important}
## この章のまとめ
- データを見るたびに p < 0.05 で止めると、第一種の過誤が増える(5 回で約 14%)
- **Pocock**(同じ境界)・**O'Brien–Fleming**(最初は厳しく、最後は 0.05 に近い)で、全体を 5% に保つ
- O'Brien–Fleming 型は検出力をほとんど落とさず、平均人数を減らせる。実際には **α 消費関数** で計算する
- 早く止めた試験の効果は **過大** になりやすい
:::