---
webr:
packages: [dplyr, tidyr, ggplot2]
resources: [R/setup.R, data/whickham.rds, data/framingham.rds, data/nhanes.rds]
cell-options:
autorun: true
---
{{< include ./_extensions/r-wasm/live/_knitr.qmd >}}
# 欠測を記述する ― 誰のデータが無いのか {#sec-missing}
```{webr}
#| include: false
source("R/setup.R")
adults <- nhanes |> filter(Age >= 20)
```
大規模データでは、ほぼすべての変数に欠測があります。多くの解析ソフトは、モデルに入れた変数のどれかが欠測している人を **黙って除外** します(完全ケース解析)。
その結果、**最初に思っていたのとは違う集団** を解析していることがあります。
この章では NHANES の **20 歳以上の 11778 人**(`adults`、読み込み済み)を中心に使います。
## まず数える:変数ごとの欠測
```{webr}
miss <- adults |>
summarise(across(everything(), ~ sum(is.na(.x)))) |>
tidyr::pivot_longer(everything(), names_to = "変数", values_to = "欠測数") |>
mutate(欠測割合 = round(100 * 欠測数 / nrow(adults), 1)) |>
arrange(desc(欠測数))
miss
```
```{webr}
ggplot(miss, aes(欠測割合, reorder(変数, 欠測割合))) +
geom_col(fill = "steelblue") +
labs(x = "欠測の割合 (%)", y = NULL)
```
テストステロン(`Testosterone`)や現在の喫煙(`SmokeNow`)は半分以上が欠測です。
欠測の **数** だけでなく、**なぜ欠測なのか** を考えます。
## 構造的な欠測:そもそも測っていない・聞いていない
```{webr}
# テストステロンの欠測割合を調査年ごとに
nhanes |> group_by(SurveyYr) |> summarise(人数 = n(), 欠測割合 = pct(is.na(Testosterone)))
# うつ(Depressed)の欠測割合を 18 歳以上・未満で
nhanes |> group_by(`18歳以上` = Age >= 18) |> summarise(人数 = n(), 欠測割合 = pct(is.na(Depressed)))
```
- テストステロンは **2011–12 年にしか測定していない**(2009–10 年は 100% 欠測)
- うつの質問は **18 歳以上にしか聞いていない**
この 2 つの「平均」や「割合」は、**特定の調査年・年齢の人だけの値** です。全体の値として書くと間違いになります。
### 前の質問の答えで、聞かれない質問
特に気づきにくいのが、**前の質問の答えによって質問が飛ばされる**(スキップされる)場合です。
```{webr}
# 「これまでに 100 本以上吸ったか」と「現在吸っているか」の欠測
table(`100本以上吸った` = adults$Smoke100, `現在の喫煙が欠測` = is.na(adults$SmokeNow), useNA = "ifany")
```
「現在吸っているか」(`SmokeNow`)は、**100 本以上吸ったことがある人にしか聞いていません**。
吸ったことのない 6536 人は全員 `NA` です。この `NA` の本当の意味は「欠測」ではなく **「吸っていない」** です。
Framingham でも、HDL・LDL コレステロールは 3 回目の診察でしか測っていません。
```{webr}
framingham |> group_by(PERIOD) |> summarise(人数 = n(), HDLの欠測割合 = pct(is.na(HDLC)))
```
## 完全ケース解析で、誰が消えるか
ある研究で、「血圧と社会経済状況・生活習慣の関係」を回帰モデルで調べることにしました。モデルに入れる変数はこれです。
```{webr}
vars <- c("Age", "Gender", "Race1", "Education", "Poverty", "BMI", "BPSysAve", "TotChol", "SmokeNow")
```
::: {.callout-note}
## 予想してみよう
11778 人のうち、これらの変数がすべてそろっている人(モデルで実際に使われる人)は何人でしょう?
上の欠測数の表から、いちばん欠測の多い変数を見て予想してください。
:::
```{webr}
cc <- complete.cases(adults[, vars])
sum(cc)
```
**4138 人(35%)** しか残りません。そして、残った人の特徴を比べると ……
```{webr}
profile <- function(d) {
d |> summarise(人数 = n(), 平均年齢 = round(mean(Age), 1),
女性 = pct(Gender == "female"), 白人 = pct(Race1 == "White"),
糖尿病 = pct(Diabetes == "Yes"),
`喫煙歴あり` = pct(Smoke100 == "Yes"))
}
bind_rows(全員 = profile(adults), 完全ケース = profile(adults[cc, ]), .id = "集団")
```
**完全ケースは 100% が喫煙歴のある人** になっています。「吸ったことがない人」は `SmokeNow` が `NA` なので、全員除外されたのです。
女性の割合も 51% → 41% に下がっています(女性のほうが喫煙歴が少ないため)。
このモデルの結果は「米国の成人」ではなく、「**喫煙歴のある米国の成人**」についての結果になってしまいます。しかもエラーも警告も出ません。
構造的な欠測を、本当の値に直してから数え直します。
```{webr}
adults2 <- adults |>
mutate(SmokeNow = if_else(Smoke100 == "No", "No", as.character(SmokeNow))) # 吸ったことがない → 現在も吸っていない
cc2 <- complete.cases(adults2[, vars])
sum(cc2)
bind_rows(全員 = profile(adults2), 完全ケース = profile(adults2[cc2, ]), .id = "集団")
```
9202 人(78%)が残り、特徴も全体に近くなりました。
## 欠測の起こり方を記述する
残りの欠測は、ランダムに起きているでしょうか。**欠測している人としていない人の特徴を比べます**。
```{webr}
# 世帯収入(貧困指数 Poverty)が欠測している人
adults |>
group_by(貧困指数が欠測 = is.na(Poverty)) |>
summarise(人数 = n(), 平均年齢 = round(mean(Age), 1),
ヒスパニック系 = pct(Race1 %in% c("Mexican", "Hispanic")),
`高校中退以下` = pct(Education %in% c("8th Grade", "9 - 11th Grade")))
```
収入を答えていない人は、**ヒスパニック系や学歴の低い人が多い**。収入が欠測の人を除くと、社会経済的に不利な人が減った集団を解析することになります。
```{webr}
# 血圧が欠測している人は、ほかの変数も欠測しているか
adults |>
group_by(血圧が欠測 = is.na(BPSysAve)) |>
summarise(人数 = n(),
総コレステロールも欠測 = pct(is.na(TotChol)),
BMIも欠測 = pct(is.na(BMI)),
健康状態の質問も欠測 = pct(is.na(HealthGen)))
```
血圧が欠測している人は、コレステロールや BMI、健康状態の質問も欠測していることが多い。
NHANES では、自宅での面接のあと、移動検診車での **身体計測・採血・追加の質問** があります。検診車に来なかった人は、これらが **まとめて欠測** します。
欠測は変数ごとにバラバラではなく、**調査の手順に沿ってまとまって起こる** ことが多いのです。
::: {.callout-tip}
## 欠測の 3 つのタイプ(用語)
- **MCAR**(完全にランダムな欠測):欠測が誰にでも同じ確率で起こる。除外しても偏らない(が、実際にはまれ)
- **MAR**(観測されている変数で説明できる欠測):例:ヒスパニック系の人ほど収入を答えない。多重代入法などで補正できる
- **MNAR**(欠測した値そのものに関係する欠測):例:収入が低い人ほど収入を答えない。データだけでは確かめられない
どのタイプかを考える材料が、**欠測した人としていない人の比較** です。
:::
## 報告する:何人が、なぜ除かれたか
解析に使った人数と、除外の理由を順に示します(論文ではフロー図にすることが多い)。
```{webr}
step <- function(d, label) tibble(段階 = label, 人数 = nrow(d))
d0 <- nhanes
d1 <- d0 |> filter(Age >= 20)
d2 <- d1 |> mutate(SmokeNow = if_else(Smoke100 == "No", "No", as.character(SmokeNow)))
d3 <- d2 |> filter(!is.na(BPSysAve))
d4 <- d3 |> filter(!is.na(Poverty))
d5 <- d4 |> filter(complete.cases(d4[, vars]))
bind_rows(step(d0, "NHANES 2009-12 の全参加者"),
step(d1, "20 歳以上"),
step(d3, "血圧の測定あり"),
step(d4, "貧困指数あり"),
step(d5, "その他の変数もすべてあり")) |>
mutate(除外 = lag(人数) - 人数)
```
::: {.callout-important}
## この章のまとめ
- 変数ごとの **欠測数・割合** を数え、**なぜ欠測なのか**(測っていない・聞いていない・答えなかった)を考える
- **構造的な欠測**(調査年・年齢・スキップ)は、「本当の値」に直すか、対象を明記する
- 完全ケース解析で **誰が除外されたか** を、欠測した人としていない人の比較で確かめる
- 除外の人数と理由を **段階ごとに報告** する
:::