---
webr:
packages: [dplyr, ggplot2]
resources: [R/setup.R, data/adults.rds, data/full.rds]
cell-options:
autorun: true
timelimit: 300
---
{{< include ./_extensions/r-wasm/live/_knitr.qmd >}}
# 欠測のしくみ {#sec-mechanisms}
```{webr}
#| include: false
source("R/setup.R")
```
## 実際のデータの欠測
NHANES 2009–2012 の 20〜79 歳 10990 人のデータ(`adults`)で、変数ごとの欠測の割合を見ます。
```{webr}
round(100 * colMeans(is.na(adults)), 1) # 欠測の割合 (%)
sum(complete.cases(adults)) # どの変数にも欠測がない人
```
1 つひとつの変数の欠測は 4〜10% ほどですが、**どれか 1 つでも欠測がある人** を除くと、10990 人が 8662 人(79%)に減ります。
どの変数が一緒に欠測しているか(欠測のパターン)を数えます。
```{webr}
v <- c("BMI", "BPSysAve", "TotChol", "Poverty")
pattern <- apply(is.na(adults[v]), 1, function(z) paste(ifelse(z, "×", "○"), collapse = ""))
cat("並び:", v, "(○ = 観測、× = 欠測)\n")
head(sort(table(pattern), decreasing = TRUE), 6)
```
- 総コレステロールだけ欠測(800 人)、収入だけ欠測(547 人)、血圧だけ欠測(331 人)が多い
- BMI・血圧・コレステロールが **そろって欠測**(276 人)しているのは、身体測定と採血を受けなかった人と考えられます
## 欠測している人は、どんな人か
血圧が欠測している人と、していない人を比べます。
```{webr}
adults |>
mutate(血圧が欠測 = is.na(BPSysAve)) |>
group_by(血圧が欠測) |>
summarise(人数 = n(), 年齢 = mean(Age), BMI = mean(BMI, na.rm = TRUE),
男性の割合 = mean(Gender == "male"), 貧困比 = mean(Poverty, na.rm = TRUE)) |>
mutate(across(年齢:貧困比, \(x) round(x, 2)))
```
血圧が欠測している人は、女性がやや多く、収入がやや低い傾向があります。
**欠測している人は、観測できた人と同じとは限りません**。欠測を無視して、観測できた人だけで解析すると、結果が偏るかもしれません。
## 欠測の 3 つのしくみ
欠測が **何によって起きるか** を、次の 3 つに分けて考えます(Rubin の分類)。
| しくみ | 欠測するかどうかが | 例(血圧の欠測) |
|---|---|---|
| **MCAR**(完全にランダムな欠測) | 何にもよらない | 測定機器がランダムに故障した |
| **MAR**(ランダムな欠測) | **観測されている** 変数によって決まる | 若い人ほど健診に来ない(年齢は分かっている) |
| **MNAR**(ランダムでない欠測) | **欠測している値そのもの**(または観測されていない変数)によって決まる | 血圧が高い人ほど測定を避ける |
名前が紛らわしいのですが、**MAR は「ランダム」ではありません**。「観測されている変数で条件づければ、ランダム」という意味です。
## 本当の値が分かるデータで確かめる
実際のデータでは、欠測した値の本当の値は分かりません。そこで、**欠測のない 2000 人のデータ**(`full`)を使い、自分で欠測を作って、何が起きるかを確かめます。
::: {.callout-note}
## `full` について
`full` は、NHANES の 20〜79 歳で欠測のない人から選んだ 2000 人です。年齢・性別・BMI などは実際の値ですが、**収縮期血圧 `BPSysAve` だけは**、本当の関係が分かるように、NHANES の年齢・BMI・性別との関係をまねて作り直した値です。
また、補助的な記録として **家庭血圧 `HomeBP`**(健診の血圧と相関 0.87)を加えています(第 6 章で使います)。
:::
```{webr}
head(full)
mean(full$BPSysAve) # 欠測させる前の平均
```
血圧の 30% を、3 つのしくみで欠測させます(`make_missing()` と `miss_prob()` は R/setup.R に定義した関数です)。
```{webr}
set.seed(1)
bp_mcar <- make_missing(full$BPSysAve, 0.3) # 全員 30% の確率
bp_mar <- make_missing(full$BPSysAve, miss_prob(-full$Age, 0.3)) # 若いほど欠測しやすい
bp_mnar <- make_missing(full$BPSysAve, miss_prob(full$BPSysAve, 0.3)) # 血圧が高いほど欠測しやすい
c(欠測前 = mean(full$BPSysAve),
MCAR = mean(bp_mcar, na.rm = TRUE), MAR = mean(bp_mar, na.rm = TRUE), MNAR = mean(bp_mnar, na.rm = TRUE)) |> round(1)
```
観測できた人だけで平均を計算すると:
- **MCAR**:欠測させる前の平均とほぼ同じ(観測できた人は、全体からのランダムな標本)
- **MAR**:**高すぎる**(血圧の低い若い人が抜けている)
- **MNAR**:**低すぎる**(血圧の高い人が抜けている)
```{webr}
#| fig-height: 3.6
d <- rbind(data.frame(しくみ = "MCAR", 血圧 = full$BPSysAve, 観測 = !is.na(bp_mcar)),
data.frame(しくみ = "MAR", 血圧 = full$BPSysAve, 観測 = !is.na(bp_mar)),
data.frame(しくみ = "MNAR", 血圧 = full$BPSysAve, 観測 = !is.na(bp_mnar)))
d$しくみ <- factor(d$しくみ, levels = c("MCAR", "MAR", "MNAR"))
ggplot(d, aes(血圧, fill = ifelse(観測, "観測できた", "欠測した"))) +
geom_histogram(binwidth = 5, colour = "white") +
facet_wrap(~ しくみ) +
labs(x = "本当の収縮期血圧 (mmHg)", y = "人数", fill = NULL)
```
## データから、しくみは分かるか
MAR では、欠測した人は若い人に偏っています。これは、**観測されている年齢** を比べれば分かります。
```{webr}
data.frame(しくみ = c("MCAR", "MAR", "MNAR"),
観測できた人の年齢 = sapply(list(bp_mcar, bp_mar, bp_mnar), \(x) mean(full$Age[!is.na(x)])),
欠測した人の年齢 = sapply(list(bp_mcar, bp_mar, bp_mnar), \(x) mean(full$Age[is.na(x)]))) |>
mutate(across(-しくみ, \(x) round(x, 1)))
```
- MCAR では、観測できた人と欠測した人の年齢は同じ
- MAR では、欠測した人のほうがずっと若い
- **MNAR でも、欠測した人のほうが年上** になっています。血圧は年齢と関係があるので、「血圧が高い人が欠測する」と、「年上の人が欠測している」ように見えるからです
観測されている変数を比べれば、**MCAR でないこと** は分かります。しかし、MAR か MNAR かは、欠測した値そのものが分からない以上、**データからは区別できません**。
::: {.callout-important}
## 欠測のしくみは、データではなく知識で考える
- 「なぜ欠測したのか」を、研究の手順・対象者・測定の状況から考える
- 欠測の理由を記録しておく(来院しなかった、測定機器の故障、本人が拒否した…)
- MAR を仮定するなら、**欠測と関係しそうな変数を観測しておく**(第 6 章)
- MNAR の可能性が残るなら、**感度分析** で結論がどれくらい変わるかを確かめる(第 8 章)
:::
## やってみよう
::: {.callout-note}
## 練習
1. `adults` で、総コレステロール(`TotChol`)が欠測している人と、していない人の年齢・性別・BMI を比べてください
2. MAR の欠測の割合を 30% から 50% に増やすと、観測できた人の平均血圧はどう変わりますか
:::
```{webr}
#| autorun: false
# 1.
adults |> group_by(コレステロールが欠測 = is.na(TotChol)) |>
summarise(人数 = n(), 年齢 = mean(Age), 男性 = mean(Gender == "male"), BMI = mean(BMI, na.rm = TRUE))
# 2.
set.seed(1)
mean(make_missing(full$BPSysAve, miss_prob(-full$Age, 0.5)), na.rm = TRUE)
```
::: {.callout-tip collapse="true"}
## 解答
1. コレステロールが欠測している人は、少しだけ年上(48.1 歳と 47.0 歳)で、性別・BMI はほぼ同じです。観測されている変数で見る限り、大きな偏りはありません(ただし、それで MCAR と言えるわけではありません)
2. 平均はさらに高くなります(126 mmHg 前後)。欠測が多いほど、偏りは大きくなります
:::
::: {.callout-important}
## この章のまとめ
- 1 つひとつの変数の欠測は少なくても、**全変数がそろう人** は大きく減る
- 欠測のしくみは **MCAR・MAR・MNAR**。MAR は「観測されている変数で条件づければランダム」
- MCAR 以外では、観測できた人だけの平均は偏る
- データから MCAR でないことは分かるが、**MAR か MNAR かは区別できない**。知識で考え、感度分析で確かめる
:::