4  欠測を記述する ― 誰のデータが無いのか

大規模データでは、ほぼすべての変数に欠測があります。多くの解析ソフトは、モデルに入れた変数のどれかが欠測している人を 黙って除外 します(完全ケース解析)。 その結果、最初に思っていたのとは違う集団 を解析していることがあります。

この章では NHANES の 20 歳以上の 11778 人(adults、読み込み済み)を中心に使います。

4.1 まず数える:変数ごとの欠測

テストステロン(Testosterone)や現在の喫煙(SmokeNow)は半分以上が欠測です。 欠測の 数 だけでなく、なぜ欠測なのか を考えます。

4.2 構造的な欠測:そもそも測っていない・聞いていない

  • テストステロンは 2011–12 年にしか測定していない(2009–10 年は 100% 欠測)
  • うつの質問は 18 歳以上にしか聞いていない

この 2 つの「平均」や「割合」は、特定の調査年・年齢の人だけの値 です。全体の値として書くと間違いになります。

4.2.1 前の質問の答えで、聞かれない質問

特に気づきにくいのが、前の質問の答えによって質問が飛ばされる(スキップされる)場合です。

「現在吸っているか」(SmokeNow)は、100 本以上吸ったことがある人にしか聞いていません。 吸ったことのない 6536 人は全員 NA です。この NA の本当の意味は「欠測」ではなく 「吸っていない」 です。

Framingham でも、HDL・LDL コレステロールは 3 回目の診察でしか測っていません。

4.3 完全ケース解析で、誰が消えるか

ある研究で、「血圧と社会経済状況・生活習慣の関係」を回帰モデルで調べることにしました。モデルに入れる変数はこれです。

ノート予想してみよう

11778 人のうち、これらの変数がすべてそろっている人(モデルで実際に使われる人)は何人でしょう? 上の欠測数の表から、いちばん欠測の多い変数を見て予想してください。

4138 人(35%) しか残りません。そして、残った人の特徴を比べると ……

完全ケースは 100% が喫煙歴のある人 になっています。「吸ったことがない人」は SmokeNow が NA なので、全員除外されたのです。 女性の割合も 51% → 41% に下がっています(女性のほうが喫煙歴が少ないため)。

このモデルの結果は「米国の成人」ではなく、「喫煙歴のある米国の成人」についての結果になってしまいます。しかもエラーも警告も出ません。

構造的な欠測を、本当の値に直してから数え直します。

9202 人(78%)が残り、特徴も全体に近くなりました。

4.4 欠測の起こり方を記述する

残りの欠測は、ランダムに起きているでしょうか。欠測している人としていない人の特徴を比べます。

収入を答えていない人は、ヒスパニック系や学歴の低い人が多い。収入が欠測の人を除くと、社会経済的に不利な人が減った集団を解析することになります。

血圧が欠測している人は、コレステロールや BMI、健康状態の質問も欠測していることが多い。 NHANES では、自宅での面接のあと、移動検診車での 身体計測・採血・追加の質問 があります。検診車に来なかった人は、これらが まとめて欠測 します。 欠測は変数ごとにバラバラではなく、調査の手順に沿ってまとまって起こる ことが多いのです。

ヒント欠測の 3 つのタイプ(用語)
  • MCAR(完全にランダムな欠測):欠測が誰にでも同じ確率で起こる。除外しても偏らない(が、実際にはまれ)
  • MAR(観測されている変数で説明できる欠測):例:ヒスパニック系の人ほど収入を答えない。多重代入法などで補正できる
  • MNAR(欠測した値そのものに関係する欠測):例:収入が低い人ほど収入を答えない。データだけでは確かめられない

どのタイプかを考える材料が、欠測した人としていない人の比較 です。

4.5 報告する:何人が、なぜ除かれたか

解析に使った人数と、除外の理由を順に示します(論文ではフロー図にすることが多い)。

重要この章のまとめ
  • 変数ごとの 欠測数・割合 を数え、なぜ欠測なのか(測っていない・聞いていない・答えなかった)を考える
  • 構造的な欠測(調査年・年齢・スキップ)は、「本当の値」に直すか、対象を明記する
  • 完全ケース解析で 誰が除外されたか を、欠測した人としていない人の比較で確かめる
  • 除外の人数と理由を 段階ごとに報告 する