---
webr:
packages: [dplyr, ggplot2]
resources: [R/setup.R, data/nhanes.rds]
cell-options:
autorun: true
timelimit: 300
---
{{< include ./_extensions/r-wasm/live/_knitr.qmd >}}
# 効果の大きさの決め方 {#sec-effect-size}
```{webr}
#| include: false
source("R/setup.R")
b <- nhanes |> filter(Age >= 40, Age <= 69, BPSysAve >= 140) # 計画している試験の対象者に近い集団
```
第 1 章で見たとおり、必要な人数は (σ / Δ)² に比例します。差 Δ と標準偏差 σ の見込みを誤ると、人数は大きく狂います。
この章では、**Δ と σ をどう決めるか**、そしてよくある落とし穴を扱います。
## 見込む差は 2 種類ある
| 考え方 | 意味 | 例 |
|---|---|---|
| **臨床的に意味のある最小の差** | これより小さい差なら、見つけても治療は変わらない | 収縮期血圧 5 mmHg(脳卒中のリスクが下がると言える最小の差) |
| **実際に期待できる差** | 作用機序・先行研究から、現実的に見込める差 | 先行研究で 7 mmHg |
- 期待できる差が、意味のある最小の差より **大きい** なら、ふつうは **意味のある最小の差** で計画します(見逃してはいけない差を、確実に見つけるため)
- 期待できる差が、意味のある最小の差より **小さい** なら、その研究を行う意味自体を考え直します
- 「人数がこれしか集まらないから、見つけられる差を逆算した」は、計画ではなく言い訳になりがちです
## 「標準化された効果量 0.5」の落とし穴
Cohen の目安では、標準化された差 d = Δ / σ が 0.2 で「小」、0.5 で「中」、0.8 で「大」とされます。
「中くらいの効果 d = 0.5」で計算すると、どんな研究でも同じ人数になります。
```{webr}
power.t.test(delta = 0.5, sd = 1, power = 0.80)$n |> ceiling()
```
1 群 64 人。しかし、d = 0.5 が何 mmHg にあたるかは、対象者の標準偏差しだいです。
```{webr}
c(標準偏差 = sd(b$BPSysAve), `d=0.5 の差` = 0.5 * sd(b$BPSysAve)) |> round(1)
```
血圧 140 mmHg 以上の人では、d = 0.5 は **7.1 mmHg** の差にあたります。降圧薬どうしの比較で 7 mmHg の上乗せは、かなり楽観的です。
**d の目安は、Δ と σ のどちらも分からないときの最後の手段** で、臨床的な意味を持ちません。差は評価項目の単位(mmHg、%、点)で考えます。
## パイロット研究の標準偏差はあてにならない
標準偏差を、20 人のパイロット研究から見積もるとします。
ここでは、NHANES の血圧 140 mmHg 以上の 962 人を「本当の集団」とみなし、そこから 20 人を選んでパイロット研究を 5000 回やってみます。
```{webr}
true_sd <- sd(b$BPSysAve) # 本当の標準偏差(14.1)
set.seed(1)
pilot_sd <- replicate(5000, sd(sample(b$BPSysAve, 20)))
quantile(pilot_sd, c(0.10, 0.50, 0.90)) |> round(1)
```
20 人のパイロット研究の標準偏差は、10% の確率で 8.9 以下、10% の確率で 19.4 以上になります。本当の値は 14.1 です。
この標準偏差を使って人数を決め、その人数で本番の試験をしたら、**本当の検出力** はいくらになるでしょうか。
```{webr}
#| fig-height: 3.4
n_plan <- sapply(pilot_sd, function(s) ceiling(power.t.test(delta = 5, sd = s, power = 0.8)$n))
true_pow <- power.t.test(n = n_plan, delta = 5, sd = true_sd)$power
quantile(n_plan, c(0.10, 0.50, 0.90))
mean(true_pow < 0.80) # 本当の検出力が 80% に届かなかった割合
ggplot(data.frame(true_pow), aes(true_pow)) +
geom_histogram(bins = 40, fill = "grey60", colour = "white") +
geom_vline(xintercept = 0.8, colour = "firebrick", linetype = 2) +
scale_x_continuous(labels = scales::percent) +
labs(x = "本当の検出力(計画上は 80%)", y = "試験の数(5000 回中)")
```
計画上はどれも検出力 80% のはずなのに、計画した人数は 51〜237 人(10〜90% 点)と大きくばらつき、**約 57% の試験で本当の検出力が 80% に届きません**。本当に必要な人数は 127 人です。
なぜ半分を超えるのでしょうか。標準偏差の見積もりは、小さい方に偏りやすい(分布が右に裾を引く)からです。標準偏差を小さく見積もると、人数が少なくなり、検出力が足りなくなります。
### 対策:標準偏差の信頼区間の上限を使う
パイロット研究の標準偏差をそのまま使わず、その **信頼区間の上限**(例えば片側 80% の上限)を使う方法があります。
```{webr}
sd_upper <- function(s, m, level = 0.80) s * sqrt((m - 1) / qchisq(1 - level, m - 1)) # m: パイロットの人数
n_plan2 <- sapply(pilot_sd, function(s) ceiling(power.t.test(delta = 5, sd = sd_upper(s, 20), power = 0.8)$n))
true_pow2 <- power.t.test(n = n_plan2, delta = 5, sd = true_sd)$power
c(人数の中央値 = median(n_plan2), 検出力が80に届かない割合 = mean(true_pow2 < 0.80))
```
計画する人数は少し増えますが(中央値 156 人)、検出力が足りなくなる試験は約 36% に減ります。
信頼区間の計算は正規分布を前提にしていますが、血圧 140 以上の人のデータは右に歪んでいるので、それでも 20%(=1 − 80%)までは下がりません。
::: {.callout-tip}
## 標準偏差の見積もり方
- できるだけ **大きな既存データ**(先行研究、レジストリ、診療データ)から見積もる。対象者の条件をそろえる
- 小さいパイロット研究しかないなら、**信頼区間の上限** を使うか、いくつかの値で人数を計算して幅を示す
- パイロット研究の主な目的は、手順・募集・脱落の確認。**効果の大きさをパイロット研究から見積もってはいけない**(次の節)
:::
## 先行研究の効果は大きすぎる
先行研究で「有意な効果」が報告されていたとします。その効果の大きさを使ってよいでしょうか。
**本当の効果は d = 0.3** で、1 群 30 人の小さい研究がたくさん行われ、**有意になったものだけが論文になる** 世界を考えます。
```{webr}
set.seed(1)
studies <- t(replicate(5000, {
x <- rnorm(30, 0, 1); y <- rnorm(30, 0.3, 1)
c(推定値 = mean(y) - mean(x), p = t.test(y, x, var.equal = TRUE)$p.value)
}))
published <- studies[studies[, "p"] < 0.05 & studies[, "推定値"] > 0, ]
c(有意になった割合 = mean(studies[, "p"] < 0.05),
全研究の平均 = mean(studies[, "推定値"]),
論文になった研究の平均 = mean(published[, "推定値"])) |> round(2)
```
この研究の検出力は約 21% しかなく、有意になるのは、**たまたま差が大きく出た研究だけ** です。論文になった研究の効果の平均は **0.65** で、本当の効果 0.3 の 2 倍以上です(勝者の呪い、winner's curse)。
この 0.65 を信じて、次の研究を計画すると:
```{webr}
n_new <- ceiling(power.t.test(delta = 0.65, sd = 1, power = 0.80)$n)
c(計画した人数 = n_new,
本当の検出力 = round(power.t.test(n = n_new, delta = 0.3, sd = 1)$power, 2),
本当に必要な人数 = ceiling(power.t.test(delta = 0.3, sd = 1, power = 0.80)$n))
```
1 群 39 人で計画した研究の本当の検出力は **約 26%**。本当に必要なのは 176 人でした。
::: {.callout-warning}
## 先行研究の効果を使うときは
- 小さい研究・初期の研究・有意な結果だけが報告された研究ほど、効果は **過大** になりやすい
- 複数の研究をまとめたメタアナリシスや、大規模な研究の値を優先する
- 先行研究の効果をそのまま使わず、**控えめに**(例えば信頼区間の下限側)見込む
- 「臨床的に意味のある最小の差」で計画すれば、この問題を避けられる
:::
## いくつかの値で計算して幅を示す
Δ と σ の見込みには不確かさがあるので、ひとつの値ではなく、**表にして** 示します。
```{webr}
grid <- expand.grid(差 = c(4, 5, 6), 標準偏差 = c(12, 14, 16, 18))
grid$`1群の人数` <- mapply(function(d, s) ceiling(power.t.test(delta = d, sd = s, power = 0.8)$n), grid$差, grid$標準偏差)
wide <- reshape(grid, idvar = "差", timevar = "標準偏差", direction = "wide")
names(wide) <- c("差 (mmHg)", paste0("SD ", c(12, 14, 16, 18)))
wide
```
差 4〜6 mmHg、標準偏差 12〜18 mmHg の範囲で、必要な人数は 1 群 64〜319 人と 5 倍も違います。
計画書には、採用した値の根拠とあわせて、こうした **感度分析** を載せると、査読者や倫理委員会が判断しやすくなります。
## やってみよう
::: {.callout-note}
## 練習
1. パイロット研究の人数を 20 人から 60 人に増やすと、本当の検出力が 80% に届かない試験の割合はどう変わりますか(`pilot_sd` の 20 を 60 に変えて、同じ計算をしてください)
2. 先行研究の 1 群の人数を 30 人から 100 人に増やすと、論文になった研究の効果の平均はどう変わりますか
:::
```{webr}
#| autorun: false
# 1.
set.seed(1)
pilot_sd60 <- replicate(5000, sd(sample(b$BPSysAve, 60)))
n60 <- sapply(pilot_sd60, function(s) ceiling(power.t.test(delta = 5, sd = s, power = 0.8)$n))
mean(power.t.test(n = n60, delta = 5, sd = true_sd)$power < 0.80)
# 2.
set.seed(1)
st <- t(replicate(5000, { x <- rnorm(100); y <- rnorm(100, 0.3)
c(est = mean(y) - mean(x), p = t.test(y, x, var.equal = TRUE)$p.value) }))
mean(st[st[, "p"] < 0.05 & st[, "est"] > 0, "est"])
```
::: {.callout-tip collapse="true"}
## 解答
1. 約 55% 前後。届かない割合はあまり減りませんが、計画する人数のばらつき(とくに大きく外れる試験)は小さくなります。「半分前後が届かない」のは、見積もりの中央値が本当の値の近くにある限り変わらない性質です
2. 約 0.40。1 群 100 人なら検出力は約 56% あり、論文になった研究の効果の過大さは小さくなります
:::
::: {.callout-important}
## この章のまとめ
- 見込む差は、**臨床的に意味のある最小の差** を基本にする。標準化された効果量の目安(d = 0.5)は最後の手段
- 小さいパイロット研究の標準偏差は大きくぶれ、小さめに出やすい。**信頼区間の上限** を使うか、大きな既存データから見積もる
- 有意な結果だけが報告された先行研究の効果は **過大**(勝者の呪い)
- Δ と σ をいくつか変えた **感度分析の表** を計画書に載せる
:::