---
webr:
packages: [dplyr, ggplot2]
resources: [R/setup.R, data/nhanes.rds]
cell-options:
autorun: true
timelimit: 300
---
{{< include ./_extensions/r-wasm/live/_knitr.qmd >}}
# 大量の検定と FDR {#sec-fdr}
```{webr}
#| include: false
source("R/setup.R")
```
遺伝子発現・代謝物・画像・多数のバイオマーカーなど、**何百〜何万回** も検定することがあります。
こうした場面で FWER(どれか 1 つでも偽陽性になる確率)を 5% に抑えると、厳しすぎて、ほとんど何も見つかりません。
そこで使われるのが、**FDR**(false discovery rate、偽発見率)を抑える考え方です。
## 1000 個のバイオマーカー
ある病気と関係するバイオマーカーを探すため、**1000 個** のマーカーを、患者と健康な人で比べます。
そのうち **本当に関係があるのは 100 個** だけで、残りの 900 個は関係がないとします。
ここでは計算を速くするため、各マーカーの検定統計量(z 値)を直接作ります。関係のあるマーカーは平均 3、ないマーカーは平均 0 の正規分布に従います。
```{webr}
sim_markers <- function(m = 1000, m1 = 100, effect = 3) {
z <- rnorm(m) + c(rep(effect, m1), rep(0, m - m1)) # 最初の m1 個が本当に関係のあるマーカー
2 * pnorm(-abs(z)) # 両側 p 値
}
truth <- c(rep(TRUE, 100), rep(FALSE, 900))
set.seed(3)
p <- sim_markers()
```
p 値の分布を見ます。
```{webr}
#| fig-height: 3.4
ggplot(data.frame(p, 本当の関係 = ifelse(truth, "あり(100 個)", "なし(900 個)")), aes(p, fill = 本当の関係)) +
geom_histogram(breaks = seq(0, 1, 0.05), colour = "white") +
labs(x = "p 値", y = "マーカーの数", fill = NULL)
```
関係のないマーカーの p 値は 0〜1 に **平らに** 散らばり、関係のあるマーカーの p 値は **0 の近くに集まります**。
## 補正しない・Bonferroni で補正する
```{webr}
count <- function(sig) c(発見 = sum(sig), うち偽 = sum(sig & !truth), うち本当 = sum(sig & truth))
rbind(補正なし = count(p < 0.05),
Bonferroni = count(p.adjust(p, "bonferroni") < 0.05))
```
- 補正しないと、**143 個** が有意になりますが、そのうち **52 個は偽**(関係のないマーカー)です
- Bonferroni の方法では偽はなくなりますが、本当に関係のある 100 個のうち、**12 個しか** 見つかりません
## FDR という考え方
スクリーニングの目的は、「**次の研究で詳しく調べる候補を選ぶ**」ことです。候補の中に偽が少し混ざっていても、次の研究で確かめればよいので、1 つでも偽が混ざることを恐れる必要はありません。
それより、**選んだ候補のうち、偽の割合** を一定以下にしたい、と考えます。
$$
\text{FDR} = E\left[\frac{\text{偽の発見の数}}{\text{発見の数}}\right]
$$
FDR を 5% に抑えるとは、「有意としたマーカーのうち、偽は平均して 5% 以下」という意味です。
## Benjamini–Hochberg の方法
FDR を q(例えば 5%)以下に抑える代表的な方法が、**Benjamini–Hochberg(BH)の方法** です。
1. m 個の p 値を小さい順に並べる:$p_{(1)} \le \dots \le p_{(m)}$
2. $p_{(i)} \le \frac{i}{m} q$ を満たす **最大の i** を探す
3. $p_{(1)}, \dots, p_{(i)}$ を有意とする
```{webr}
#| fig-height: 3.6
m <- length(p); q <- 0.05
ps <- sort(p)
i_max <- max(which(ps <= (1:m) / m * q))
i_max
ggplot(data.frame(i = 1:150, p = ps[1:150]), aes(i, p)) +
geom_point(aes(colour = i <= i_max), size = 1.2) +
geom_abline(intercept = 0, slope = q / m, colour = "firebrick") +
geom_hline(yintercept = 0.05 / m, linetype = 2, colour = "grey40") +
scale_colour_manual(values = c("grey60", "steelblue"), labels = c("有意でない", "有意")) +
labs(x = "p 値の順位 i(小さい方から 150 個)", y = "p 値", colour = NULL,
caption = "赤線:i/m × q(BH の基準) 点線:0.05/m(Bonferroni の基準)")
```
赤線の下にある最後の点までが有意です。Bonferroni の基準(点線)は、すべての順位で同じ厳しい値なので、BH よりずっと少なくしか有意になりません。
R では `p.adjust(p, "BH")` で、BH の方法で補正した p 値(**q 値** と呼ぶこともあります)を計算できます。
```{webr}
rbind(補正なし = count(p < 0.05),
Bonferroni = count(p.adjust(p, "bonferroni") < 0.05),
BH = count(p.adjust(p, "BH") < 0.05))
```
BH の方法では 56 個を発見し、そのうち偽は 4 個(7%)です。
## 1000 回繰り返して比べる
```{webr}
set.seed(1)
methods <- c(補正なし = "none", Bonferroni = "bonferroni", Holm = "holm", BH = "BH", BY = "BY")
res <- replicate(1000, {
p <- sim_markers()
sapply(methods, function(mt) {
s <- p.adjust(p, mt) < 0.05; R <- sum(s); V <- sum(s & !truth)
c(発見の数 = R, 偽の数 = V, 偽の割合 = ifelse(R > 0, V / R, 0),
本当の100個のうち検出 = sum(s & truth) / 100, 偽が1つでもある = V > 0)
})
}, simplify = "array")
round(apply(res, c(1, 2), mean), 3)
```
| 方法 | 抑えるもの | 発見の数 | 偽の割合 | 本当の 100 個の検出率 |
|---|---|---|---|---|
| 補正なし | ― | 約 130 | 約 35% | 85% |
| Bonferroni・Holm | FWER(偽が 1 つでもある確率 ≤ 5%) | 約 15 | 0.4% | 15% |
| **BH** | **FDR(偽の割合の平均 ≤ 5%)** | 約 52 | **4.4%** | **50%** |
BH の方法は、偽の割合を 5% 以下に保ちながら、Bonferroni の方法の **3 倍以上** を見つけています。
その代わり、「偽が 1 つでもある」確率は約 88% と高くなっています。**抑えているものが違う** のです。
::: {.callout-tip}
## FWER と FDR の使い分け
| | FWER(Bonferroni・Holm など) | FDR(BH など) |
|---|---|---|
| 意味 | 偽が **1 つでも** 混ざる確率 | 発見のうち偽の **割合** |
| 向いている場面 | **検証的** な研究:臨床試験の主要評価項目、承認申請、診療を変える結論 | **探索的** な研究:スクリーニング、候補の絞り込み、仮説を作る |
| 検定の数 | 少ない(数個〜十数個) | 多い(数百〜数万) |
:::
## 検定どうしに相関があるとき
BH の方法は、検定が **独立か、正の相関を持つ** ときに FDR を抑えます。どんな相関でも FDR を抑えたいなら、**Benjamini–Yekutieli(BY)の方法**(`p.adjust(p, "BY")`)を使いますが、かなり保守的になります(上の表では発見が約 22 個)。
遺伝子発現などでは、BH の方法がふつうに使われています。
::: {.callout-warning}
## FDR を使うときの注意
- FDR は「**平均して** 偽の割合が 5% 以下」という意味。1 回の研究で、偽の割合が 5% を超えることはある
- 発見したマーカーのうち、**どれが偽かは分からない**。必ず別のデータで確かめる(検証研究)
- 「探索的だから FDR」と決めたら、**事前に** 解析計画に書く。結果を見てから FWER と FDR を選んではいけない
:::
## やってみよう
::: {.callout-note}
## 練習
1. 本当に関係のあるマーカーを 100 個から 10 個に減らすと、BH の方法の発見の数と偽の割合はどう変わりますか
2. **どのマーカーにも関係がない**(m1 = 0)とき、BH の方法で「偽が 1 つでもある」確率はいくらになりますか
:::
```{webr}
#| autorun: false
# 1.
set.seed(1)
truth10 <- c(rep(TRUE, 10), rep(FALSE, 990))
r <- replicate(1000, { s <- p.adjust(sim_markers(m1 = 10), "BH") < 0.05; R <- sum(s); V <- sum(s & !truth10)
c(発見 = R, 偽の割合 = ifelse(R > 0, V / R, 0)) })
rowMeans(r)
# 2.
set.seed(1)
mean(replicate(1000, any(p.adjust(sim_markers(m1 = 0), "BH") < 0.05)))
```
::: {.callout-tip collapse="true"}
## 解答
1. 発見は 2〜3 個に減り、偽の割合は約 5% のままです(本当の関係が少ないと、偽の割合 ≈ q × 関係のない割合 ≈ 5% に近づきます)
2. 約 5〜6%(シミュレーションでは 6%)。どのマーカーにも関係がないときは、発見はすべて偽なので、FDR = FWER になり、BH の方法でも FWER が 5% に抑えられます
:::
::: {.callout-important}
## この章のまとめ
- 大量の検定で FWER を抑えると、ほとんど何も見つからない
- **FDR** = 発見のうち偽の割合の平均。スクリーニングなど **探索的** な場面で使う
- **BH の方法**:p 値を小さい順に並べ、$p_{(i)} \le \frac{i}{m} q$ を満たす最大の i までを有意にする。`p.adjust(p, "BH")`
- 検証的な結論には FWER、探索的な候補選びには FDR。どちらを使うかは **事前に** 決める
:::