---
webr:
packages: [dplyr, ggplot2]
resources: [R/setup.R, data/whickham.rds, data/framingham.rds, data/nhanes.rds]
cell-options:
autorun: true
---
{{< include ./_extensions/r-wasm/live/_knitr.qmd >}}
# 検出力・多重比較・報告の書き方 {#sec-power}
```{webr}
#| include: false
source("R/setup.R")
```
最後に、χ² 検定を **研究の計画と報告** の中で使うときのことを扱います。
- 何人集めれば、差を見つけられるか(検出力とサンプルサイズ)
- 3 群以上で「どの群とどの群が違うか」を調べるとき(多重比較)
- 結果をどう書くか
## 何人いれば差を見つけられるか
新しい治療で、改善率が 25% から 35% に上がると見込んでいるとします。
有意水準 5%(両側)、**検出力 80%**(本当に差があるとき、80% の確率で有意になる)で検定するには、1 群何人必要でしょうか。
```{webr}
power.prop.test(p1 = 0.25, p2 = 0.35, sig.level = 0.05, power = 0.80)
```
1 群 **約 329 人**(切り上げて 330 人)です。シミュレーションで確かめます。
```{webr}
set.seed(1)
n <- 330
hit <- replicate(5000, {
x <- rbinom(1, n, 0.25); y <- rbinom(1, n, 0.35)
chisq.test(matrix(c(x, n - x, y, n - y), 2, byrow = TRUE), correct = FALSE)$p.value < 0.05
})
mean(hit)
```
約 80% の確率で有意になりました。`power.prop.test()` は、補正なしの χ² 検定(=割合の差の z 検定、第 2 章)に対応しています。
### 差が小さいと、必要な人数は急に増える
```{webr}
#| fig-height: 3.6
p2s <- seq(0.28, 0.45, by = 0.01)
need <- sapply(p2s, function(p2) ceiling(power.prop.test(p1 = 0.25, p2 = p2, power = 0.8)$n))
ggplot(data.frame(p2 = p2s, n = need), aes(100 * p2, n)) +
geom_line() + geom_point() +
scale_y_log10() +
labs(x = "新しい治療の改善率 (%)(従来 25%)", y = "1 群に必要な人数(対数目盛)")
data.frame(新しい治療 = c("28%", "30%", "35%", "40%"),
`1群の人数` = need[round(p2s, 2) %in% c(0.28, 0.30, 0.35, 0.40)], check.names = FALSE)
```
差が半分になると、必要な人数は約 4 倍になります(人数は差の 2 乗に反比例)。
### r×c 表の検出力
3 群以上や、3 カテゴリ以上の表では、**非心 χ² 分布** で検出力を計算できます。
想定する表の割合から、Cohen の効果量 w を計算し、N × w² を非心度として使います。
```{webr}
power_chisq <- function(P, N, alpha = 0.05) { # P: 想定する表の「セルの割合」(合計 1)
E <- outer(rowSums(P), colSums(P)) # 独立なら期待される割合
w2 <- sum((P - E)^2 / E) # Cohen の w の 2 乗
df <- (nrow(P) - 1) * (ncol(P) - 1)
pchisq(qchisq(1 - alpha, df), df, ncp = N * w2, lower.tail = FALSE)
}
# 3 群(各 1/3)で、ある副作用の頻度が 10%, 15%, 20% と想定
P <- rbind(c(0.10, 0.90), c(0.15, 0.85), c(0.20, 0.80)) / 3
sapply(c(300, 600, 900), function(N) round(power_chisq(P, N), 3))
```
3 群合わせて 300 人で検出力は約 41%、600 人で約 71%、900 人で約 88% です。シミュレーションでも確かめられます(やってみよう)。
## 3 群以上で、どこが違うか:事後の多重比較
NHANES の 20 歳以上で、人種・民族の区分ごとに糖尿病の割合を比べます。
```{webr}
adults <- nhanes |> filter(Age >= 20)
tab <- table(人種 = adults$Race1, 糖尿病 = adults$Diabetes)[, c("Yes", "No")]
cbind(tab, 割合 = round(100 * tab[, "Yes"] / rowSums(tab), 1))
chisq.test(tab)
```
5 群の間に差があることは分かりました(χ² = 78.1、自由度 4)。では、**どの群とどの群** が違うのでしょうか。
### 2 群ずつ全部比べると
5 群から 2 群を選ぶ組み合わせは 10 通りです。それぞれを有意水準 5% で検定すると、**どこにも差がなくても、10 回のうちどれかが有意になる確率** は 5% よりずっと大きくなります。
```{webr}
1 - (1 - 0.05)^10 # 10 回の独立な検定で、少なくとも 1 回「有意」になる確率
```
約 40% です(実際の 10 回の比較は互いに独立ではないので、正確にはこれより少し小さくなります)。
### シミュレーション:本当は差がないのに
5 群とも糖尿病の割合が 14% で、各群 300 人という、**本当は差がない** データを作り、2 群ずつ 10 回検定します。
```{webr}
set.seed(1)
any_sig <- replicate(2000, {
y <- rbinom(5, 300, 0.14)
p_raw <- pairwise.prop.test(y, rep(300, 5), p.adjust.method = "none", correct = FALSE)$p.value
p_holm <- pairwise.prop.test(y, rep(300, 5), p.adjust.method = "holm", correct = FALSE)$p.value
c(補正なし = any(p_raw < 0.05, na.rm = TRUE), Holm = any(p_holm < 0.05, na.rm = TRUE))
})
round(100 * rowMeans(any_sig), 1) # どれか 1 つでも「有意」になった割合 (%)
```
補正しないと、本当は差がないのに、**約 3 割の研究で「どこかに有意差あり」** になります。Holm の方法で p 値を補正すると、5% 以下に抑えられます。
### 実データで補正する
```{webr}
pairwise.prop.test(tab, p.adjust.method = "holm")
```
Holm の方法で補正しても、Black は他のすべての群より割合が高く、White は Black・Hispanic・Mexican より低い、と言えます。
::: {.callout-tip}
## 多重比較の考え方
- **全体の χ² 検定 → 標準化残差(第 4 章)→ 2 群ずつの比較(補正つき)** の順に、問いを細かくしていく
- 比べたい組み合わせが最初から決まっている(例:各群を White と比べるだけ)なら、その組み合わせだけを検定し、その数で補正する
- 補正の方法は、**ボンフェローニ**(p 値 × 比較の数。単純で保守的)、**Holm**(ボンフェローニより常に検出力が高い。迷ったらこれ)など
- サブグループ解析(男女別・年齢別に何度も検定する)も、同じ多重検定の問題を持つ
:::
## 結果の書き方
χ² 検定の結果を報告するときは、読者が **表を再現でき、どの検定を使ったか分かる** ように書きます。
```{webr}
tab_w <- table(喫煙 = whickham$smoker, 転帰 = whickham$outcome)[c("Yes", "No"), ]
pt <- prop.test(tab_w, correct = FALSE)
ct <- chisq.test(tab_w, correct = FALSE)
sprintf("20 年後の死亡は、喫煙者 %d/%d 人 (%.1f%%)、非喫煙者 %d/%d 人 (%.1f%%) で、差 (喫煙者 − 非喫煙者) は %.1f ポイント (95%% CI %.1f〜%.1f) であった (Pearson の χ² 検定、連続性補正なし: χ²(%d) = %.2f, p = %.3f)。",
tab_w[1, 1], sum(tab_w[1, ]), 100 * pt$estimate[1],
tab_w[2, 1], sum(tab_w[2, ]), 100 * pt$estimate[2],
100 * (pt$estimate[1] - pt$estimate[2]), 100 * pt$conf.int[1], 100 * pt$conf.int[2],
ct$parameter, ct$statistic, ct$p.value)
```
::: {.callout-important}
## 報告に含めるもの
1. **各群の人数と割合**(分母を必ず書く)
2. **差・比などの効果の大きさと、その信頼区間**
3. **検定の名前**(Pearson の χ² 検定 / Fisher の正確検定 / McNemar 検定 / MH 検定 / 傾向検定)と、**補正の有無**(Yates)
4. **χ² 値・自由度・p 値**(p 値は「p < 0.05」ではなく、実際の値を書く。とても小さいときは p < 0.001)
5. 多重比較をしたなら、**補正の方法**
6. 交絡を考えたなら、**何で層別・調整したか**(この例では、年齢で調整すると結論が変わる。第 7 章)
:::
::: {.callout-warning}
## 「有意差なし」は「差がない」ではない
p = 0.30 のとき、言えるのは「この人数では差を検出できなかった」ことだけです。
信頼区間が広く、臨床的に大きな差も含んでいるなら、「差がない」とは言えません。
**同等であることを示したいなら、最初から同等性・非劣性の検定として計画** します。
:::
## やってみよう
::: {.callout-note}
## 練習
1. `power.prop.test()` で、改善率 25% → 30% の差を検出力 90% で見つけるのに必要な 1 群の人数を求めてください
2. `power_chisq()` で計算した「3 群合わせて 600 人で約 71%」を、シミュレーションで確かめてください
:::
```{webr}
#| autorun: false
# 1.
power.prop.test(p1 = 0.25, p2 = 0.30, power = 0.90)
# 2.
set.seed(2)
hit <- replicate(2000, {
y <- rbinom(3, 200, c(0.10, 0.15, 0.20))
chisq.test(cbind(y, 200 - y))$p.value < 0.05
})
mean(hit)
```
::: {.callout-tip collapse="true"}
## 解答
1. 1 群 1674 人(1673.9 を切り上げ)。差が 5 ポイントだと、10 ポイントのとき(約 330 人)の 5 倍ほど必要です
2. 約 71% 前後になります(シミュレーションなので、数ポイントのぶれがあります)
:::
::: {.callout-important}
## この章のまとめ
- 必要な人数は `power.prop.test()`。差が半分になると、人数は約 4 倍
- r×c 表の検出力は、効果量 w と **非心 χ² 分布** で計算できる
- 事後に 2 群ずつ比べるなら、**Holm などで補正**。補正しないと偽の有意差が出やすい
- 報告は「人数と割合・効果の大きさと信頼区間・検定の名前と補正・χ²(df)・p 値」
:::