7 演習と、一致度・診断精度のチェックリスト
これまでの章の内容を、自分の手で使ってみます。 この章のコードセルは自動では実行されません。空欄(___)を埋めて「Run Code」 を押してください。解答例は各問の下に折りたたんであります。
7.1 チェックリスト
7.1.1 一致度(2 つの測定法・評価者・繰り返し)
| # | 確かめること | 章 |
|---|---|---|
| 1 | 相関係数や t 検定の「有意差なし」だけで、一致を結論していないか | 1 |
| 2 | Bland-Altman プロット で、差の平均(系統誤差)・95% 一致限界 を示したか。人数が少なければ信頼区間も | 2 |
| 3 | 差に 傾き(比例誤差) や 広がり(値に比例する誤差 → 対数・比) がないか、図で確かめたか | 2 |
| 4 | 「一致」と言える 臨床的な許容範囲を、データを見る前に 決めたか | 2 |
| 5 | 従来法そのものの 再現性(個人内 SD・再現性係数)を知っているか | 3 |
| 6 | ICC を報告するとき、種類(1 元・一貫性・絶対一致)と 集団の範囲 を書いたか | 3 |
| 7 | カテゴリの一致では、κ と一緒に 一致率・各カテゴリの割合 も示したか。順序があれば重みつき κ(重みも明記) | 4 |
7.1.2 診断精度・予測
| # | 確かめること | 章 |
|---|---|---|
| 8 | 正解(参照基準)は、評価する検査と 独立に 決めたか(組み込みバイアス) | 5 |
| 9 | 評価した人は、実際に検査を使う人 と同じような集団か(スペクトラムバイアス) | 5 |
| 10 | 感度・特異度に 信頼区間 をつけたか | 5 |
| 11 | 的中率を報告するとき、どの有病率の集団か を明記したか | 5 |
| 12 | カットオフ・予測モデルの性能を、選んだ・作ったのと別のデータ(または交差検証・ブートストラップ)で確かめたか | 6 |
| 13 | リスクの値を使うなら、AUC だけでなく 較正 も確かめたか | 6 |
7.2 演習 1:拡張期血圧の再現性
NHANES の 2 回目と 3 回目の 拡張期血圧(BPDia2, BPDia3)の一致を調べます。
7.2.1 1-1. Bland-Altman プロット
図の左側に、ほかとは違う点の並びがありませんか? それは何でしょうか。
差 = BPDia2 - BPDia3差の平均 0.4、一致限界 −12.1〜+12.9 mmHg です。 図の左側に、差が大きく、平均が低い点が斜めに並んでいます。これは 拡張期血圧が 0 と記録された人(118 人)です。聴診法では、音が 0 mmHg まで消えないことがあり、その場合 0 と記録されます。測定値として本当の血圧ではありません。
sum(dia$BPDia2 == 0 | dia$BPDia3 == 0)
dia2 <- dia |> filter(BPDia2 > 0, BPDia3 > 0)
round(ba(dia2$BPDia2, dia2$BPDia3), 1)0 を除くと、一致限界は −9.7〜+10.4 mmHg に狭まります。Bland-Altman プロットは、データの異常値を見つける 道具にもなります(除外した理由と人数は報告します)。
7.2.2 1-2. ICC
0 を除いたデータで、ICC と個人内 SD を求めてください。
icc_oneway(cbind(dia2$BPDia2, dia2$BPDia3))ICC 0.91、個人内 SD 3.6 mmHg です。0 を含めると ICC 0.89、個人内 SD 4.5 mmHg になり、異常な値が精度を悪く見せていました。
7.3 演習 2:高血圧の判定の一致
2 回目と 3 回目の測定で、それぞれ「収縮期 140 以上 または 拡張期 90 以上」を高血圧と判定したとき、判定の一致率と κ を求めてください。
h3 <- factor(e$BPSys3 >= 140 | e$BPDia3 >= 90, c(FALSE, TRUE))一致率 94.6%、偶然の一致 70.2%、κ = 0.82 です。報告するときは、高血圧と判定された人の割合(約 19%)も添えます。
7.4 演習 3:健診で使ったら
ある検査の感度が 85%、特異度が 90% だとします。
- 有病率 2% の健診の受診者で使ったとき、陽性的中率はいくつですか?
- 1 万人が受診したら、陽性になる人は何人で、そのうち本当に病気の人は何人ですか?
FP <- N * (1 - prev) * (1 - spec)陽性は 1150 人、そのうち本当に病気なのは 170 人で、陽性的中率は 14.8% です。陽性の人の 85% は、病気ではないのに精密検査を受けることになります。 見逃される人(偽陰性)も 30 人います。健診で使うかどうかは、精密検査の負担と、見つけることの利益を合わせて判断します。
7.5 演習 4:総コレステロールで CVD を予測する
Framingham で、1 回目の診察の総コレステロール(TOTCHOL)の、24 年間の CVD に対する AUC を求めてください。
auc(fc$TOTCHOL, fc$CVD)AUC は 0.58 です。総コレステロールは CVD の確立した危険因子ですが、1 つだけで個人の発症を判別する力は弱いことが分かります。 危険因子であること(関連がある)と、予測に役立つこと(判別できる)は別 です。オッズ比が 2 の危険因子でも、AUC はあまり上がらないことがよくあります。
7.6 確認問題
新しい体温計と従来の体温計の相関係数が 0.98 でした。「新しい体温計は従来の体温計と一致する」と言えますか?
言えません。いつも 0.5℃ 高く出ても、相関係数は高いままです。また、発熱した患者から平熱の人まで幅広く集めれば、相関係数は高くなります。Bland-Altman プロットで、差の平均と一致限界を、事前に決めた許容範囲(例:±0.3℃)と比べます(第 1・2 章)。
健康な大学生 30 人で測定した ICC が 0.55、入院患者 30 人で測定した ICC が 0.90 でした。患者で測ったほうが測定の精度が高いと言えますか?
言えません。ICC は人の間のばらつきに依存し、値の幅が広い患者集団では高くなります。測定の精度そのものは、個人内 SD や再現性係数(測定と同じ単位)で比べます(第 3 章)。
血圧が 1 回目の測定で 160 mmHg 以上だった人を集め、減塩指導をしたところ、1 か月後の平均血圧が 8 mmHg 下がりました。指導の効果と言えますか?
言えません。1 回の測定で高かった人は、何もしなくても次の測定で下がります(平均への回帰)。NHANES では、同じ日の 2 回目だけでも約 4 mmHg 下がっていました。対照群をおいて比べる必要があります(第 3 章)。
2 人の病理医の判定の一致率が 96% でしたが、κ は 0.40 でした。どう解釈しますか?
「陽性」(または「陰性」)が非常に少ない(多い)ため、偶然でも高い一致率になっていると考えられます。κ が低いのは、少ないほうのカテゴリでの一致が悪いことを示している可能性があります。各カテゴリの割合と、陽性一致率・陰性一致率を確かめます(第 4 章)。
ある新しいがんの血液検査を、進行がんの患者 100 人と健康な若い献血者 100 人で評価したところ、感度 95%、特異度 98% でした。この検査を一般の健診に導入した場合、どうなると予想されますか?
早期のがん(検査値の変化が小さい)や、がん以外の病気をもつ人(検査値が上がることがある)が多い実際の受診者では、感度・特異度とも低くなる可能性が高い(スペクトラムバイアス)。さらに、健診では有病率が低いので、陽性的中率はかなり低くなります(第 5 章)。
1000 人のデータで、50 個の候補から変数を選んで予測モデルを作り、同じデータで AUC 0.88 でした。論文にどう書くべきですか?
同じデータでの AUC は楽観的です。変数選択を含めた手順全体を交差検証やブートストラップでくり返して楽観を補正するか、別のデータで外部検証した AUC を報告します。較正(予測と実際の一致)も示します。TRIPOD などの報告ガイドラインを参照します(第 6 章)。
7.7 おわりに
一致度と診断精度の評価は、
- 何と何を比べているか(2 つの測定法か、正解があるか)
- 誰で評価したか(値の範囲・有病率・重症度)
- どのデータで確かめたか(作ったのと同じデータか)
によって、同じ検査でも結果が大きく変わります。数字 1 つ(相関係数・κ・AUC)ではなく、図と複数の指標と、評価した集団の説明 を組み合わせて報告してください。