6  ROC 曲線と AUC

第 5 章では、カットオフを動かすと感度と特異度がトレードオフになることを見ました。 すべてのカットオフでの感度と (1 − 特異度) を結んだのが ROC 曲線、その下の面積が AUC(c 統計量)です。 この章では、Framingham の 1 回目の診察から 24 年間に心血管疾患(CVD)を起こすか を予測する、という例で考えます。

6.1 収縮期血圧 1 つで予測する

左上に近いほど、よく判別できる検査です。対角線(点線)は、コインを投げて決めるのと同じ(判別力なし)です。

6.2 AUC の意味

AUC は、ROC 曲線の下の面積です。もうひとつ、とても分かりやすい意味があります。

CVD を起こした人と起こさなかった人を 1 人ずつランダムに選んだとき、起こした人のほうが値が高い確率

これは、順位を使った Mann-Whitney の統計量と同じです。

収縮期血圧の AUC は 0.66 です。CVD を起こした人のほうが血圧が高い組み合わせは、66% にすぎません。

6.3 複数の変数を組み合わせる

年齢・性別・血圧・コレステロール・喫煙・BMI・糖尿病を、ロジスティック回帰で組み合わせて「リスクスコア」を作ります。

リスクスコアの AUC は 0.74 です。24 年先の発症を、1 回の診察だけで完璧に予測することはできません。

6.4 「最適なカットオフ」の楽観

よく使われるのが、Youden 指数(感度 + 特異度 − 1)が最大になるカットオフを「最適」とする方法です。 ここで問題になるのは、カットオフを選んだのと同じデータで、その性能を報告する ことです。

データを半分に分け、片方(学習用)でカットオフを選び、もう片方(検証用)で性能を確かめます。

学習用データで選んだカットオフ(133 mmHg)の Youden 指数は 0.27 ですが、新しいデータでは 0.22 に下がります。 選んだデータの偶然のでこぼこに合わせてしまう ためです(楽観、optimism)。

6.5 予測モデルの楽観:変数が多く、人数が少ないと

同じことは、予測モデルの AUC でも起こります。 Framingham から 200 人 だけを取り出し、本当の予測因子 7 つに加えて、CVD とまったく関係のない乱数の変数を 30 個 入れたモデルを作ってみます。

作ったデータでは AUC が 0.85 と高く見えますが、新しいデータでは 0.62 に下がります(7 変数のモデルを全員で作ったときの 0.74 より低い)。 人数(特にイベント数)に比べて変数が多いモデルは、作ったデータでの性能を信用できません。 性能は、別のデータ(外部検証)、または 交差検証・ブートストラップ で、楽観を補正して報告します。

6.6 AUC だけでは足りない:較正

AUC は 順位 だけを見ています。予測した確率を全部半分にしても、順位は変わらないので AUC は同じです。

しかし、「あなたの 24 年間の CVD リスクは 15%」と伝えるなら、予測した確率が、実際の発症割合と合っているか(較正、calibration)が大切です。 予測リスクで 10 群に分けて、予測と実際を比べます。

元のモデルは点線の上に並びますが、確率を半分にしたモデルは、AUC は同じなのに リスクを系統的に過小評価 しています。 別の国・別の時代の集団にモデルを当てはめると、このような較正のずれがよく起こります(例:Framingham のリスク式を、心疾患の少ない集団にそのまま使うと、リスクを過大評価する)。

重要この章のまとめ
  • ROC 曲線は、すべてのカットオフの感度と偽陽性率。AUC = 発症した人のほうが値が高い確率
  • 「最適なカットオフ」や予測モデルの性能を、作ったのと同じデータで報告すると楽観的 になる。別のデータ・交差検証・ブートストラップで確かめる
  • 人数(イベント数)に比べて変数が多いモデルは、特に楽観が大きい
  • AUC は順位だけを見る。リスクの値を使うなら 較正 も確かめる