6  変数の数と過学習・p 値による変数選択

「交絡因子はたくさん調整したほうが安心」と考えがちですが、イベント(結果)の数に比べて変数が多すぎる と、推定そのものが不安定になり、偏ります。 また、「p 値が小さい変数だけを残す」変数選択にも、見落としやすい問題があります。この章は、すべて 答えが分かっているシミュレーション で確かめます。

6.1 イベント数と変数の数

ロジスティック回帰で、曝露 X の本当のオッズ比を 2 とし、ほかに 10 個の共変量を調整します。 人数(=イベント数)を変えて、300 回ずつ研究をくり返します。

  • イベントが約 30(変数 1 つあたり約 3 イベント)のとき、オッズ比の平均は 2.7 と過大で、研究によって 1.2〜4.3 とばらつく
  • 変数 1 つあたり 10 イベント以上になると、ほぼ 2 に近づく

ロジスティック回帰は、イベントが少ないと オッズ比を 1 から遠ざける方向に偏る ことが知られています。 よく使われる目安に「変数 1 つあたり 10 イベント(EPV ≥ 10)」がありますが、状況によってはもっと必要とされます。

ヒントイベントが少ないときは
  • 調整する変数を、DAG で 本当に必要な交絡因子 に絞る
  • 多くの交絡因子を 1 つの 傾向スコア にまとめる(第 7 章)
  • 罰則つき回帰(Firth の方法など)を使う

6.2 p 値で変数を選ぶと、何が起きるか

候補の変数 20 個のうち、5 個は本当に弱い効果(ログオッズ 0.15)があり、15 個はまったく効果がない とします。 300 人のデータでモデルを作り、p < 0.05 の変数だけを「意味がある」と選ぶ ことを 300 回くり返します。

  • 本当に効果がある 5 個のうち、選ばれるのは平均 約 1 個
  • 効果のない 15 個のうち、平均 約 0.8 個 が選ばれる
  • 選ばれた「本物」の推定値の平均は 0.37(本当は 0.15)。2 倍以上に過大

p 値で選ぶと、偶然大きく出た推定値ばかりが残ります(勝者の呪い)。選んだ変数の係数・p 値・信頼区間は、選ばなかった場合の不確かさを無視 しているので、楽観的すぎます。

6.3 交絡因子を p 値で選んではいけない

交絡因子を「結果と有意に関連したら調整する」という方法で選ぶと、どうなるでしょうか。 Z は曝露 X に 強く 関係し、結果 Y には 中程度に 関係する交絡因子です。X の本当の効果は 0 とします。

  • Z が有意になるのは、約 54% の研究だけ
  • 常に Z で調整:X の係数の平均はほぼ 0(正しい)
  • 有意なときだけ調整:平均 0.11(バイアスが残る)
  • 調整なし:0.42

Z は X と強く関係しているので、モデルの中では Z の効果が X と分け合われ、Z の p 値が大きくなりがちです。しかし、Z を外すとバイアスが戻ってきます。 交絡因子は、結果との p 値ではなく、因果の構造(DAG)と事前の知識で選びます。

6.4 実データで:ステップワイズ選択

R の step() は、AIC を基準に変数を出し入れして「よい」モデルを探します。Framingham で、24 年間の死亡に対して試してみます。

step() は、死亡を予測するのに役立つ変数 を選んでいます。 「喫煙の効果」を知りたいときに必要な 交絡因子のセット とは、目的が違います(予測と因果推論の違い)。この例では、BMI・拡張期血圧・総コレステロールが外れました。BMI は喫煙と死亡の交絡因子かもしれませんが、「予測に役立たない」という理由で外されています。 予測モデルを作るときも、選択した手順全体を交差検証などで評価しないと、性能を過大評価します(一致度ハンズオン第 6 章)。

重要この章のまとめ
  • イベント数に比べて変数が多い(変数 1 つあたり 10 イベント未満)と、オッズ比は過大に偏り、不安定になる
  • p 値で変数を選ぶ と、選ばれた推定値は過大になり(勝者の呪い)、効果のない変数も選ばれる
  • 交絡因子は p 値で選ばない。外すとバイアスが戻る。DAG と事前の知識で決める
  • ステップワイズ選択は「予測に役立つ変数」を選ぶ方法で、交絡の調整のための方法ではない