推定方法:REML と ML
lmer() はデフォルトで REML(制限付き最尤法) という方法でパラメータを推定します。
| REML(デフォルト) |
分散成分(τ, σ)の推定の偏りが小さい |
最終的な推定値を報告するとき、ランダム効果の構造 を比べるとき |
| ML(最尤法) |
分散成分がやや小さめに推定される |
固定効果の構造 が異なるモデルを比べるとき |
標本分散を \(n\) で割ると小さめに偏り、\(n-1\) で割ると偏りがなくなる、という話を覚えていますか? ML は「\(n\) で割る」、REML は「\(n-1\) で割る」に相当する考え方です。 ただし REML の尤度は固定効果の部分を「取り除いて」計算するため、 固定効果が異なるモデル同士の REML 尤度は比較できません。だから固定効果の比較には ML を使います。
fit_reml <- lmer(Reaction ~ Days + (Days | Subject), data = sleepstudy) # REML
fit_ml <- lmer(Reaction ~ Days + (Days | Subject), data = sleepstudy, REML = FALSE) # ML
vc_tab <- rbind(REML = as.data.frame(VarCorr(fit_reml))$sdcor,
ML = as.data.frame(VarCorr(fit_ml))$sdcor)
colnames(vc_tab) <- c("切片SD", "傾きSD", "相関", "残差SD")
vc_tab
切片SD 傾きSD 相関 残差SD
REML 24.74066 5.922138 0.06555124 25.59180
ML 23.77976 5.716799 0.08132109 25.59191
固定効果の検定
方法1:t 検定(lmerTest の Satterthwaite 法)
summary() に出てくる p 値です。混合モデルでは t 分布の自由度が自明ではないため、近似で求めています。
summary(fit_reml)$coefficients
Estimate Std. Error df t value Pr(>|t|)
(Intercept) 251.40510 6.824597 16.99973 36.838090 1.171558e-17
Days 10.46729 1.545790 16.99998 6.771481 3.263824e-06
方法2:尤度比検定 (LRT)
「Days あり」と「Days なし」のモデルを比べます。anova() は REML で当てはめたモデルを自動で ML に再推定してから比べてくれます。
fit0 <- lmer(Reaction ~ 1 + (Days | Subject), data = sleepstudy)
fit1 <- lmer(Reaction ~ Days + (Days | Subject), data = sleepstudy)
anova(fit0, fit1) # "refitting model(s) with ML" と表示される
Data: sleepstudy
Models:
fit0: Reaction ~ 1 + (Days | Subject)
fit1: Reaction ~ Days + (Days | Subject)
npar AIC BIC logLik -2*log(L) Chisq Df Pr(>Chisq)
fit0 5 1785.5 1801.4 -887.74 1775.5
fit1 6 1763.9 1783.1 -875.97 1751.9 23.537 1 1.226e-06 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
見方:
AIC, BIC:小さいほど良いモデル
logLik:対数尤度(大きいほど当てはまりが良い)
Chisq, Df, Pr(>Chisq):尤度比検定の統計量、自由度(増えたパラメータ数)、p 値
信頼区間
confint(fit_reml, oldNames = FALSE) # プロファイル尤度による 95% 信頼区間
2.5 % 97.5 %
sd_(Intercept)|Subject 14.3813860 37.7165596
sd_Days|Subject 3.8011632 8.7533849
cor_Days.(Intercept)|Subject -0.4815008 0.6849863
sigma 22.8982669 28.8579965
(Intercept) 237.6806955 265.1295146
Days 7.3586533 13.5759187
sd_(Intercept)|Subject:切片の SD (\(\tau_0\))
sd_Days|Subject:傾きの SD (\(\tau_1\))
cor_Days.(Intercept)|Subject:切片と傾きの相関 (\(\rho\))
sigma:残差 SD (\(\sigma\))
(Intercept), Days:固定効果
oldNames = FALSE を付けないと .sig01 のような番号だけの名前になり、どれがどれかわかりにくいので付けておきましょう。
confint(fit, method = "boot", nsim = 500) とするとパラメトリック・ブートストラップによる信頼区間も求められます(時間がかかります)。
ランダム効果の検定
「ランダム傾きは必要か?」を尤度比検定で調べます。固定効果は同じなので、REML のまま比較できます(refit = FALSE)。
fit_ri <- lmer(Reaction ~ Days + (1 | Subject), data = sleepstudy)
fit_rs <- lmer(Reaction ~ Days + (Days | Subject), data = sleepstudy)
anova(fit_ri, fit_rs, refit = FALSE)
Data: sleepstudy
Models:
fit_ri: Reaction ~ Days + (1 | Subject)
fit_rs: Reaction ~ Days + (Days | Subject)
npar AIC BIC logLik -2*log(L) Chisq Df Pr(>Chisq)
fit_ri 4 1794.5 1807.2 -893.23 1786.5
fit_rs 6 1755.6 1774.8 -871.81 1743.6 42.837 2 4.99e-10 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
p 値が十分小さく、AIC も fit_rs のほうが小さい → ランダム傾きを入れたほうが良い。
「τ₁ = 0(傾きの個人差なし)」は、分散が取りうる範囲(0 以上)の 端っこ です。 この場合、通常のカイ二乗分布による p 値は 大きめ(保守的) になります。 ランダム効果1つの分散を検定する場合は、p 値を 2 で割るのが一般的な補正です。 いずれにせよ「有意になったなら、本当はもっと有意」なので、結論は変わりません。
AIC によるモデル選択
fit_nocor <- lmer(Reaction ~ Days + (Days || Subject), data = sleepstudy) # 相関なし
AIC(fit_ri, fit_nocor, fit_rs)
df AIC
fit_ri 4 1794.465
fit_nocor 5 1753.669
fit_rs 6 1755.628
よく使われる考え方は 2 つあります。
- 最大構造から始める(Barr et al., 2013):研究デザインが許す最大のランダム効果構造を入れ、収束しなければ簡略化する
- データで選ぶ:AIC や尤度比検定で必要な構造だけを残す(Matuschek et al., 2017)
初心者のうちは「理論的に考えられるランダム効果を入れる → 推定がうまくいかなければ(第 チャプター 7 章)単純化する」で十分です。
- デフォルトは REML。固定効果の異なるモデルの比較は ML(
anova() が自動でやってくれる)
- 固定効果:
summary() の p 値(Satterthwaite)、尤度比検定、confint()
- ランダム効果:
anova(..., refit = FALSE)。境界の問題で p 値は保守的
- AIC は小さいほど良い