3  大量の検定と FDR

遺伝子発現・代謝物・画像・多数のバイオマーカーなど、何百〜何万回 も検定することがあります。 こうした場面で FWER(どれか 1 つでも偽陽性になる確率)を 5% に抑えると、厳しすぎて、ほとんど何も見つかりません。 そこで使われるのが、FDR(false discovery rate、偽発見率)を抑える考え方です。

3.1 1000 個のバイオマーカー

ある病気と関係するバイオマーカーを探すため、1000 個 のマーカーを、患者と健康な人で比べます。 そのうち 本当に関係があるのは 100 個 だけで、残りの 900 個は関係がないとします。

ここでは計算を速くするため、各マーカーの検定統計量(z 値)を直接作ります。関係のあるマーカーは平均 3、ないマーカーは平均 0 の正規分布に従います。

p 値の分布を見ます。

関係のないマーカーの p 値は 0〜1 に 平らに 散らばり、関係のあるマーカーの p 値は 0 の近くに集まります。

3.2 補正しない・Bonferroni で補正する

  • 補正しないと、143 個 が有意になりますが、そのうち 52 個は偽(関係のないマーカー)です
  • Bonferroni の方法では偽はなくなりますが、本当に関係のある 100 個のうち、12 個しか 見つかりません

3.3 FDR という考え方

スクリーニングの目的は、「次の研究で詳しく調べる候補を選ぶ」ことです。候補の中に偽が少し混ざっていても、次の研究で確かめればよいので、1 つでも偽が混ざることを恐れる必要はありません。 それより、選んだ候補のうち、偽の割合 を一定以下にしたい、と考えます。

\[ \text{FDR} = E\left[\frac{\text{偽の発見の数}}{\text{発見の数}}\right] \]

FDR を 5% に抑えるとは、「有意としたマーカーのうち、偽は平均して 5% 以下」という意味です。

3.4 Benjamini–Hochberg の方法

FDR を q(例えば 5%)以下に抑える代表的な方法が、Benjamini–Hochberg(BH)の方法 です。

  1. m 個の p 値を小さい順に並べる:\(p_{(1)} \le \dots \le p_{(m)}\)
  2. \(p_{(i)} \le \frac{i}{m} q\) を満たす 最大の i を探す
  3. \(p_{(1)}, \dots, p_{(i)}\) を有意とする

赤線の下にある最後の点までが有意です。Bonferroni の基準(点線)は、すべての順位で同じ厳しい値なので、BH よりずっと少なくしか有意になりません。

R では p.adjust(p, "BH") で、BH の方法で補正した p 値(q 値 と呼ぶこともあります)を計算できます。

BH の方法では 56 個を発見し、そのうち偽は 4 個(7%)です。

3.5 1000 回繰り返して比べる

方法 抑えるもの 発見の数 偽の割合 本当の 100 個の検出率
補正なし ― 約 130 約 35% 85%
Bonferroni・Holm FWER(偽が 1 つでもある確率 ≤ 5%) 約 15 0.4% 15%
BH FDR(偽の割合の平均 ≤ 5%) 約 52 4.4% 50%

BH の方法は、偽の割合を 5% 以下に保ちながら、Bonferroni の方法の 3 倍以上 を見つけています。 その代わり、「偽が 1 つでもある」確率は約 88% と高くなっています。抑えているものが違う のです。

ヒントFWER と FDR の使い分け
FWER(Bonferroni・Holm など) FDR(BH など)
意味 偽が 1 つでも 混ざる確率 発見のうち偽の 割合
向いている場面 検証的 な研究:臨床試験の主要評価項目、承認申請、診療を変える結論 探索的 な研究:スクリーニング、候補の絞り込み、仮説を作る
検定の数 少ない(数個〜十数個) 多い(数百〜数万)

3.6 検定どうしに相関があるとき

BH の方法は、検定が 独立か、正の相関を持つ ときに FDR を抑えます。どんな相関でも FDR を抑えたいなら、Benjamini–Yekutieli(BY)の方法(p.adjust(p, "BY"))を使いますが、かなり保守的になります(上の表では発見が約 22 個)。 遺伝子発現などでは、BH の方法がふつうに使われています。

警告FDR を使うときの注意
  • FDR は「平均して 偽の割合が 5% 以下」という意味。1 回の研究で、偽の割合が 5% を超えることはある
  • 発見したマーカーのうち、どれが偽かは分からない。必ず別のデータで確かめる(検証研究)
  • 「探索的だから FDR」と決めたら、事前に 解析計画に書く。結果を見てから FWER と FDR を選んではいけない

3.7 やってみよう

ノート練習
  1. 本当に関係のあるマーカーを 100 個から 10 個に減らすと、BH の方法の発見の数と偽の割合はどう変わりますか
  2. どのマーカーにも関係がない(m1 = 0)とき、BH の方法で「偽が 1 つでもある」確率はいくらになりますか
  1. 発見は 2〜3 個に減り、偽の割合は約 5% のままです(本当の関係が少ないと、偽の割合 ≈ q × 関係のない割合 ≈ 5% に近づきます)
  2. 約 5〜6%(シミュレーションでは 6%)。どのマーカーにも関係がないときは、発見はすべて偽なので、FDR = FWER になり、BH の方法でも FWER が 5% に抑えられます
重要この章のまとめ
  • 大量の検定で FWER を抑えると、ほとんど何も見つからない
  • FDR = 発見のうち偽の割合の平均。スクリーニングなど 探索的 な場面で使う
  • BH の方法:p 値を小さい順に並べ、\(p_{(i)} \le \frac{i}{m} q\) を満たす最大の i までを有意にする。p.adjust(p, "BH")
  • 検証的な結論には FWER、探索的な候補選びには FDR。どちらを使うかは 事前に 決める