測定の一致度と診断精度

「相関が高い=一致」から、Bland-Altman・ICC・κ・感度特異度・ROC まで

今日のゴール

  1. 相関係数が 一致の指標ではない 理由を説明できる
  2. Bland-Altman プロット で系統誤差・一致限界・比例誤差を評価できる
  3. 個人内 SD・ICC・κ を、集団への依存も含めて解釈できる
  4. 感度・特異度・的中率・ROC・AUC を、楽観的にならずに評価できる

ヒント

詳しい解説・ブラウザで動く R・演習は ハンズオンブック にあります。データは NHANES(血圧 3 回測定)と Framingham

1. 相関は一致ではない

相関 0.96〜0.98 の「新しい血圧計」

同じ血圧計の 1 回目と 2 回目の相関(0.95)より高いのに、どれも代わりに使えない

相関係数が見ていないもの

  • y = x かどうか:いつも 10 高い・いつも 2 倍でも、相関は 1
  • 集めた人の範囲 で変わる
    • 1 回目と 2 回目:全員 r = 0.95 → 平均 110〜130 の人だけ r = 0.60
    • 差の SD は 5.8 → 5.6 mmHg と ほぼ同じ
  • t 検定の「有意差なし」は、平均がずれていないことだけ
    • 機器 C:平均の差 0.1、p = 0.48 なのに、1 人ひとりは ±30 mmHg ずれる

→ 1 人ひとりの差 を直接見る

2. Bland-Altman プロット

差を、平均に対してプロットする

A:比例誤差(右下がり) B:一定の系統誤差 +10 C:一致限界 ±30

読み方と注意

  • 差の平均(系統誤差)と 95% 一致限界 = 差の平均 ± 1.96 × 差の SD
    • 血圧 1 回目 − 2 回目:+1.1(−10.3〜+12.5)mmHg
  • 横軸は 2 つの平均(片方の値にすると、誤差だけで見かけの傾きが出る)
  • 一致限界にも誤差:30 人なら信頼区間は ±4 mmHg ほど → 100 人以上 が目安
  • 値に比例する誤差 → 対数をとって比 で評価
  • 「一致」かは 事前に決めた許容範囲 で判断(血圧計:差の平均 ±5、SD 8 以内)

3. 繰り返し測定と信頼性

個人内 SD と ICC

  • NHANES 10091 人の 3 回測定:個人内 SD 4.3 mmHg
    • 再現性係数 2.77 × 4.3 = 12 mmHg(2 回測った差の 95% がこの範囲)
  • ICC = 人の間の分散 / (人の間 + 人の中)
ICC 個人内SD
全員 0.95 4.33
平均120未満 0.76 3.95
平均120以上 0.91 4.67

測定のばらつきは同じでも、集団の幅が狭いと ICC は下がる。種類(1 元・一貫性・絶対一致)も明記

平均への回帰と回帰希釈

人数 BPSys1 BPSys2 BPSys3
1回目160以上 531 172.9 169.1 166.5
1回目100以下 717 95.9 97.5 97.5
  • 1 回の高い値で選ぶと、何もしなくても次は下がる → 前後比較には対照群
  • 測定誤差は関連を 0 の方向に弱める(回帰希釈):傾き × 信頼性係数

4. κ 係数

偶然の一致を差し引く

κ = (一致率 − 偶然の一致率) / (1 − 偶然の一致率)

  • 収縮期 140 以上か(1 回目 vs 2 回目):一致率 94.7%、偶然 71.1% → κ = 0.82
  • 40 歳未満:一致率 98.5%、60 歳以上:90.0% → κ はどちらも 0.78
表 「あり」の割合 一致率 κ
A 85% 90% 0.61
B 50% 90% 0.80

有病率で κ は変わる → 一致率・割合・陽性/陰性一致率も報告。順序カテゴリは 重みつき κ(重みなし 0.67、線形 0.80、2 次 0.90)

5. 診断精度

感度・特異度・的中率

Framingham 4037 人、随時血糖 126 mg/dL 以上で糖尿病を判定

糖尿病あり 糖尿病なし
陽性 69 24
陰性 47 3897
  • 感度 59.5%(95% CI 50〜68)、特異度 99.4%、陽性的中率 74.2%
  • 200 mg/dL 以上で特異度 100% → 正解の定義に血糖 200 以上が 含まれている(組み込みバイアス)

陽性的中率は有病率で変わる

有病率 1% では 陽性の 85% が偽陽性。重症例と健常者で評価すると、感度・特異度も過大に(スペクトラムバイアス)

6. ROC と AUC

AUC = 発症した人のほうが値が高い確率

楽観と較正

  • 「最適なカットオフ」を同じデータで評価すると楽観的
    • 学習用で選んだ 133 mmHg:Youden 0.27 → 検証用 0.22
  • 200 人に 7 変数 + 雑音 30 変数 のモデル:AUC 0.85 → 新しいデータで 0.62
    • 別データ・交差検証・ブートストラップで確かめる
  • AUC は順位だけ:確率を半分にしても AUC は同じ → 較正プロット も見る
  • 危険因子であること ≠ 予測に役立つこと(総コレステロールの AUC 0.58)

チェックリスト

  1. 相関・t 検定だけで一致を結論しない
  2. Bland-Altman:系統誤差・一致限界(+信頼区間)・比例誤差、事前の許容範囲
  3. 個人内 SD・再現性係数。ICC は 種類と集団 を明記
  4. κ と一緒に一致率・割合。順序なら重みつき κ(重みを明記)
  5. 正解は検査と独立に(組み込み)、実際に使う人で評価(スペクトラム)
  6. 感度・特異度に信頼区間、的中率には 有病率
  7. カットオフ・モデルは 別のデータで 確かめ、較正 も見る