4 カテゴリの一致:κ 係数
「高血圧か、そうでないか」「画像所見があるか、ないか」のように、測定の結果が カテゴリ のときの一致を考えます。 2 人の医師の判定、同じ人の 2 回の判定、新旧 2 つの検査の判定などです。
4.1 一致率
1 回目と 2 回目の収縮期血圧で、それぞれ「140 mmHg 以上(高い)」かどうかを判定します。
10091 人のうち、94.7% で判定が一致しました。
4.1.1 一致率の問題:偶然でも一致する
2 回目の判定を、1 回目と まったく無関係に、同じ割合(約 17% を「高い」)でランダムに決めたとしても、
- 2 回とも「140 未満」になる確率:0.82 × 0.83
- 2 回とも「140 以上」になる確率:0.18 × 0.17
を足した 約 71% は、偶然だけで一致します。
ほとんどの人が「140 未満」の集団では、何も考えずに全員を「140 未満」と判定しても一致率は高くなります。一致率だけでは、判定の良さが分かりません。
4.2 Cohen の κ 係数
κ 係数 は、偶然に期待される一致を差し引いて、「偶然を超えた一致が、最大でどれだけありえたうちのどれだけか」を表します。
\[ \kappa = \frac{p_o - p_e}{1 - p_e} \]
(\(p_o\):観測された一致率、\(p_e\):偶然に期待される一致率)
κ = 0.82 です。1 なら完全な一致、0 なら偶然と同じ程度の一致です。 よく使われる目安(Landis & Koch)では、0.61〜0.80 が「かなりの一致」、0.81 以上が「ほぼ完全な一致」とされます(根拠の乏しい目安なので、参考程度にします)。
4.2.1 一致率が違っても、κ は同じ
年齢で分けてみます。
40 歳未満では一致率 98.5%、60 歳以上では 90.0% と大きく違いますが、κ はどちらも 0.78 です。 40 歳未満では「140 以上」の人がほとんどいないので、偶然でも 93% 一致する ためです。
4.3 κ の落とし穴:有病率のパラドックス
逆に、一致率が同じでも、κ が大きく違うこともあります。次の 2 つの表は、どちらも 一致率 90% です。
「あり」が多い(85%)表 A では、偶然の一致率が高い(74.5%)ので、κ は 0.61 にとどまります。「あり」と「なし」が半々の表 B では、κ = 0.80 です。
- 有病率が極端(ほとんど「あり」または「なし」)な集団では、評価者がよく一致していても κ は低くなる
- 異なる集団・異なる研究の κ を、そのまま比べてはいけない
- κ と一緒に、一致率、各カテゴリの 割合、可能なら「あり」どうし・「なし」どうしの一致(陽性一致率・陰性一致率)も報告する
表 A では、「あり」の一致は 94% と高く、「なし」の一致は 67% と低いことが分かります。κ 1 つより多くの情報が伝わります。
4.4 順序のあるカテゴリ:重みつき κ
血圧を 4 段階に分けると、「1 段階ずれた」と「3 段階ずれた」は、同じ不一致ではありません。
ほとんどの不一致は、隣の区分 へのずれです。重みつき κ は、ずれの大きさに応じて「部分的な一致」を認めます。
- 重みなし(隣へのずれも完全な不一致):κ = 0.67
- 線形の重み(1 段階ずれ = 2/3 一致):κ = 0.80
- 2 次の重み(1 段階ずれ = 8/9 一致):κ = 0.90
重みの選び方で κ は大きく変わる ので、どの重みを使ったかを必ず書きます。2 次の重みの κ は、ICC(第 3 章)とほぼ同じ値になることが知られています。
4 段階の区分の一致(重みなし κ 0.67)は、元の連続量の一致(ICC 0.95)よりずっと低く見えます。区切りの近くの人は、わずかなずれで区分が変わるからです。 もともと連続量の測定なら、区切る前の値で一致度(第 2・3 章)を評価します。
- 一致率は 偶然の一致 を含む。κ = (一致率 − 偶然の一致率) / (1 − 偶然の一致率)
- κ は カテゴリの割合(有病率)に依存。集団の違う κ は比べられない。一致率・割合・陽性/陰性一致率も報告する
- 順序のあるカテゴリには 重みつき κ。重みの種類で値が大きく変わるので明記する
- 連続量を区切ると、一致は悪く見える