6  検定・モデル比較

6.1 推定方法:REML と ML

lmer() はデフォルトで REML(制限付き最尤法) という方法でパラメータを推定します。

方法 特徴 使いどころ
REML(デフォルト) 分散成分(τ, σ)の推定の偏りが小さい 最終的な推定値を報告するとき、ランダム効果の構造 を比べるとき
ML(最尤法) 分散成分がやや小さめに推定される 固定効果の構造 が異なるモデルを比べるとき
ノートなぜ使い分ける?

標本分散を \(n\) で割ると小さめに偏り、\(n-1\) で割ると偏りがなくなる、という話を覚えていますか? ML は「\(n\) で割る」、REML は「\(n-1\) で割る」に相当する考え方です。 ただし REML の尤度は固定効果の部分を「取り除いて」計算するため、 固定効果が異なるモデル同士の REML 尤度は比較できません。だから固定効果の比較には ML を使います。

fit_reml <- lmer(Reaction ~ Days + (Days | Subject), data = sleepstudy)               # REML
fit_ml   <- lmer(Reaction ~ Days + (Days | Subject), data = sleepstudy, REML = FALSE) # ML
vc_tab <- rbind(REML = as.data.frame(VarCorr(fit_reml))$sdcor,
                ML   = as.data.frame(VarCorr(fit_ml))$sdcor)
colnames(vc_tab) <- c("切片SD", "傾きSD", "相関", "残差SD")
vc_tab
       切片SD   傾きSD       相関   残差SD
REML 24.74066 5.922138 0.06555124 25.59180
ML   23.77976 5.716799 0.08132109 25.59191

6.2 固定効果の検定

6.2.1 方法1:t 検定(lmerTest の Satterthwaite 法)

summary() に出てくる p 値です。混合モデルでは t 分布の自由度が自明ではないため、近似で求めています。

summary(fit_reml)$coefficients
             Estimate Std. Error       df   t value     Pr(>|t|)
(Intercept) 251.40510   6.824597 16.99973 36.838090 1.171558e-17
Days         10.46729   1.545790 16.99998  6.771481 3.263824e-06

6.2.2 方法2:尤度比検定 (LRT)

「Days あり」と「Days なし」のモデルを比べます。anova() は REML で当てはめたモデルを自動で ML に再推定してから比べてくれます。

fit0 <- lmer(Reaction ~ 1    + (Days | Subject), data = sleepstudy)
fit1 <- lmer(Reaction ~ Days + (Days | Subject), data = sleepstudy)
anova(fit0, fit1)   # "refitting model(s) with ML" と表示される
Data: sleepstudy
Models:
fit0: Reaction ~ 1 + (Days | Subject)
fit1: Reaction ~ Days + (Days | Subject)
     npar    AIC    BIC  logLik -2*log(L)  Chisq Df Pr(>Chisq)    
fit0    5 1785.5 1801.4 -887.74    1775.5                         
fit1    6 1763.9 1783.1 -875.97    1751.9 23.537  1  1.226e-06 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

見方:

  • AIC, BIC:小さいほど良いモデル
  • logLik:対数尤度(大きいほど当てはまりが良い)
  • Chisq, Df, Pr(>Chisq):尤度比検定の統計量、自由度(増えたパラメータ数)、p 値

6.2.3 信頼区間

confint(fit_reml, oldNames = FALSE)   # プロファイル尤度による 95% 信頼区間
                                   2.5 %      97.5 %
sd_(Intercept)|Subject        14.3813860  37.7165596
sd_Days|Subject                3.8011632   8.7533849
cor_Days.(Intercept)|Subject  -0.4815008   0.6849863
sigma                         22.8982669  28.8579965
(Intercept)                  237.6806955 265.1295146
Days                           7.3586533  13.5759187
  • sd_(Intercept)|Subject:切片の SD (\(\tau_0\))
  • sd_Days|Subject:傾きの SD (\(\tau_1\))
  • cor_Days.(Intercept)|Subject:切片と傾きの相関 (\(\rho\))
  • sigma:残差 SD (\(\sigma\))
  • (Intercept), Days:固定効果

oldNames = FALSE を付けないと .sig01 のような番号だけの名前になり、どれがどれかわかりにくいので付けておきましょう。

ヒント

confint(fit, method = "boot", nsim = 500) とするとパラメトリック・ブートストラップによる信頼区間も求められます(時間がかかります)。

6.3 ランダム効果の検定

「ランダム傾きは必要か?」を尤度比検定で調べます。固定効果は同じなので、REML のまま比較できます(refit = FALSE)。

fit_ri <- lmer(Reaction ~ Days + (1 | Subject),    data = sleepstudy)
fit_rs <- lmer(Reaction ~ Days + (Days | Subject), data = sleepstudy)
anova(fit_ri, fit_rs, refit = FALSE)
Data: sleepstudy
Models:
fit_ri: Reaction ~ Days + (1 | Subject)
fit_rs: Reaction ~ Days + (Days | Subject)
       npar    AIC    BIC  logLik -2*log(L)  Chisq Df Pr(>Chisq)    
fit_ri    4 1794.5 1807.2 -893.23    1786.5                         
fit_rs    6 1755.6 1774.8 -871.81    1743.6 42.837  2   4.99e-10 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

p 値が十分小さく、AIC も fit_rs のほうが小さい → ランダム傾きを入れたほうが良い。

警告分散 = 0 の検定は「境界」の問題がある

「τ₁ = 0(傾きの個人差なし)」は、分散が取りうる範囲(0 以上)の 端っこ です。 この場合、通常のカイ二乗分布による p 値は 大きめ(保守的) になります。 ランダム効果1つの分散を検定する場合は、p 値を 2 で割るのが一般的な補正です。 いずれにせよ「有意になったなら、本当はもっと有意」なので、結論は変わりません。

6.4 AIC によるモデル選択

fit_nocor <- lmer(Reaction ~ Days + (Days || Subject), data = sleepstudy)  # 相関なし

AIC(fit_ri, fit_nocor, fit_rs)
          df      AIC
fit_ri     4 1794.465
fit_nocor  5 1753.669
fit_rs     6 1755.628
ノートどのモデルを選ぶべき?

よく使われる考え方は 2 つあります。

  1. 最大構造から始める(Barr et al., 2013):研究デザインが許す最大のランダム効果構造を入れ、収束しなければ簡略化する
  2. データで選ぶ:AIC や尤度比検定で必要な構造だけを残す(Matuschek et al., 2017)

初心者のうちは「理論的に考えられるランダム効果を入れる → 推定がうまくいかなければ(第 チャプター 7 章)単純化する」で十分です。

重要この章のまとめ
  • デフォルトは REML。固定効果の異なるモデルの比較は ML(anova() が自動でやってくれる)
  • 固定効果:summary() の p 値(Satterthwaite)、尤度比検定、confint()
  • ランダム効果:anova(..., refit = FALSE)。境界の問題で p 値は保守的
  • AIC は小さいほど良い