4  カテゴリの一致:κ 係数

「高血圧か、そうでないか」「画像所見があるか、ないか」のように、測定の結果が カテゴリ のときの一致を考えます。 2 人の医師の判定、同じ人の 2 回の判定、新旧 2 つの検査の判定などです。

4.1 一致率

1 回目と 2 回目の収縮期血圧で、それぞれ「140 mmHg 以上(高い)」かどうかを判定します。

10091 人のうち、94.7% で判定が一致しました。

4.1.1 一致率の問題:偶然でも一致する

2 回目の判定を、1 回目と まったく無関係に、同じ割合(約 17% を「高い」)でランダムに決めたとしても、

  • 2 回とも「140 未満」になる確率:0.82 × 0.83
  • 2 回とも「140 以上」になる確率:0.18 × 0.17

を足した 約 71% は、偶然だけで一致します。

ほとんどの人が「140 未満」の集団では、何も考えずに全員を「140 未満」と判定しても一致率は高くなります。一致率だけでは、判定の良さが分かりません。

4.2 Cohen の κ 係数

κ 係数 は、偶然に期待される一致を差し引いて、「偶然を超えた一致が、最大でどれだけありえたうちのどれだけか」を表します。

\[ \kappa = \frac{p_o - p_e}{1 - p_e} \]

(\(p_o\):観測された一致率、\(p_e\):偶然に期待される一致率)

κ = 0.82 です。1 なら完全な一致、0 なら偶然と同じ程度の一致です。 よく使われる目安(Landis & Koch)では、0.61〜0.80 が「かなりの一致」、0.81 以上が「ほぼ完全な一致」とされます(根拠の乏しい目安なので、参考程度にします)。

4.2.1 一致率が違っても、κ は同じ

年齢で分けてみます。

40 歳未満では一致率 98.5%、60 歳以上では 90.0% と大きく違いますが、κ はどちらも 0.78 です。 40 歳未満では「140 以上」の人がほとんどいないので、偶然でも 93% 一致する ためです。

4.3 κ の落とし穴:有病率のパラドックス

逆に、一致率が同じでも、κ が大きく違うこともあります。次の 2 つの表は、どちらも 一致率 90% です。

「あり」が多い(85%)表 A では、偶然の一致率が高い(74.5%)ので、κ は 0.61 にとどまります。「あり」と「なし」が半々の表 B では、κ = 0.80 です。

警告κ は有病率(各カテゴリの割合)に依存する
  • 有病率が極端(ほとんど「あり」または「なし」)な集団では、評価者がよく一致していても κ は低くなる
  • 異なる集団・異なる研究の κ を、そのまま比べてはいけない
  • κ と一緒に、一致率、各カテゴリの 割合、可能なら「あり」どうし・「なし」どうしの一致(陽性一致率・陰性一致率)も報告する

表 A では、「あり」の一致は 94% と高く、「なし」の一致は 67% と低いことが分かります。κ 1 つより多くの情報が伝わります。

4.4 順序のあるカテゴリ:重みつき κ

血圧を 4 段階に分けると、「1 段階ずれた」と「3 段階ずれた」は、同じ不一致ではありません。

ほとんどの不一致は、隣の区分 へのずれです。重みつき κ は、ずれの大きさに応じて「部分的な一致」を認めます。

  • 重みなし(隣へのずれも完全な不一致):κ = 0.67
  • 線形の重み(1 段階ずれ = 2/3 一致):κ = 0.80
  • 2 次の重み(1 段階ずれ = 8/9 一致):κ = 0.90

重みの選び方で κ は大きく変わる ので、どの重みを使ったかを必ず書きます。2 次の重みの κ は、ICC(第 3 章)とほぼ同じ値になることが知られています。

ヒント連続量を区切ると、一致は悪く見える

4 段階の区分の一致(重みなし κ 0.67)は、元の連続量の一致(ICC 0.95)よりずっと低く見えます。区切りの近くの人は、わずかなずれで区分が変わるからです。 もともと連続量の測定なら、区切る前の値で一致度(第 2・3 章)を評価します。

重要この章のまとめ
  • 一致率は 偶然の一致 を含む。κ = (一致率 − 偶然の一致率) / (1 − 偶然の一致率)
  • κ は カテゴリの割合(有病率)に依存。集団の違う κ は比べられない。一致率・割合・陽性/陰性一致率も報告する
  • 順序のあるカテゴリには 重みつき κ。重みの種類で値が大きく変わるので明記する
  • 連続量を区切ると、一致は悪く見える