ゼロからの線形混合モデル

R + lme4 で手を動かして理解する

今日のゴール

  1. 普通の回帰ではダメな場面を説明できる
  2. 固定効果・ランダム効果を自分の言葉で説明できる
  3. lmer() でモデルを当てはめ、出力を読める
  4. モデルを比較・診断して結果を報告できる

今日の流れ

  1. なぜ線形混合モデルが必要か
  2. 単回帰の復習
  3. 3つのプーリング
  4. ランダム切片モデル
  5. ランダム傾きモデル
  6. 検定・モデル比較
  7. 診断と報告

ヒント

詳しい解説と演習問題は ハンズオンブック にあります

1. なぜ線形混合モデルが必要か

今日のデータ(架空)

20 校の生徒に 勉強時間 と テスト得点 を記録

d <- sim_school()
head(d, 4)
  school hours score
1    S01   4.6  47.4
2    S01   4.0  53.1
3    S01   0.8  37.6
4    S01   6.3  69.6

知りたいこと:勉強時間が1時間増えると、得点は何点上がる?

全体を散布図で見る

右上がり。でもばらつきが大きい

学校ごとに分けてみる

どの学校も右上がり、でも学校ごとに高さが違う

何が問題?:独立性が崩れる

  • 普通の回帰は「データは互いに独立」が前提
  • でも同じ学校の生徒は似ている → 独立ではない
  • 「315人分の情報」に見えて、実は「20校分」に近い部分がある

グループ構造はどこにでもある

学校 ⊃ 生徒、病院 ⊃ 患者、店舗 ⊃ 売上、同じ人の反復測定 …

体験:無視するとどうなる?

本当は効果がない「補習プログラム」を学校単位でランダムに割り当て、300回検定

ここまでのまとめ

ポイント

  • グループ構造があると、グループ内のデータは似ている(独立でない)
  • 無視して普通の回帰を使うと、誤って「有意」になりやすい
  • 線形混合モデルは「グループごとのずれ」をモデルに組み込む

2. 単回帰の復習

単回帰モデル

\[ \text{score}_i = \beta_0 + \beta_1 \cdot \text{hours}_i + \varepsilon_i, \qquad \varepsilon_i \sim N(0, \sigma^2) \]

  • \(\beta_0\):切片(勉強時間 0 のときの得点)
  • \(\beta_1\):傾き(1時間あたりの得点の増加)
  • \(\varepsilon_i\):誤差(個人のばらつき、互いに独立)
fit_lm <- lm(score ~ hours, data = d)
coef(fit_lm)
(Intercept)       hours 
  43.493521    3.408943 

残差を学校ごとに並べると…

学校によって全体的にプラス/マイナス → 誤差に「学校のずれ」が混ざっている

3. 3つのプーリング

学校の違いをどう扱う?

考え方 学校の違い 問題点
完全プーリング 無視する 独立性が崩れる
プーリングなし 学校ごとに完全に別々 少ないデータで不安定
部分プーリング 違うが似ている ← 線形混合モデル

部分プーリングの仮定:

学校ごとの切片は違う。でもそれらは1つの正規分布から出てきた

縮小推定 (shrinkage)

データが少ない学校ほど全体平均に引き寄せられる

固定効果とランダム効果

固定効果

全体に共通の値を1つ推定

  • 勉強時間の傾き \(\beta_1\)
  • 全体の切片 \(\beta_0\)
  • 性別、薬A/B など

ランダム効果

グループごとに異なり、分布からばらつく

  • 学校ごとのずれ \(u_j\)
  • 被験者、店舗、病院 など
  • 目安:グループ数 5〜6 以上

「混合 (mixed)」= この2種類を混ぜて使うモデル

4. ランダム切片モデル

モデル式

\[ \text{score}_{ij} = \underbrace{\beta_0 + \beta_1 \cdot \text{hours}_{ij}}_{\text{固定効果}} + \underbrace{u_j}_{\text{学校のずれ}} + \underbrace{\varepsilon_{ij}}_{\text{個人のばらつき}} \]

\[ u_j \sim N(0, \tau^2), \qquad \varepsilon_{ij} \sim N(0, \sigma^2) \]

  • 単回帰との違いは \(u_j\) が1つ増えただけ
  • 推定するのは 20個の \(u_j\) ではなく、ばらつき \(\tau\) の1つだけ
  • \(\tau\):学校間のばらつき、\(\sigma\):学校内のばらつき

R の書き方

lmer(score ~ hours + (1 | school), data = d)
部分 意味
score ~ hours 固定効果(lm() と同じ)
(1 | school) school ごとに切片 (1) がばらつく

| の左 = 何がばらつくか、右 = 何ごとにばらつくか

出力を読む

fit_ri <- lmer(score ~ hours + (1 | school), data = d)
summary(fit_ri)
Linear mixed model fit by REML. t-tests use Satterthwaite's method [
lmerModLmerTest]
Formula: score ~ hours + (1 | school)
   Data: d

REML criterion at convergence: 2119.3

Scaled residuals: 
     Min       1Q   Median       3Q      Max 
-2.52549 -0.63282 -0.00379  0.65028  2.52623 

Random effects:
 Groups   Name        Variance Std.Dev.
 school   (Intercept) 62.97    7.935   
 Residual             40.54    6.367   
Number of obs: 315, groups:  school, 20

Fixed effects:
            Estimate Std. Error       df t value Pr(>|t|)    
(Intercept)  46.0878     1.9390  24.7389   23.77   <2e-16 ***
hours         3.2296     0.1299 297.5316   24.86   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Correlation of Fixed Effects:
      (Intr)
hours -0.338

出力のポイント

VarCorr(fit_ri)    # τ(school)と σ(Residual)
 Groups   Name        Std.Dev.
 school   (Intercept) 7.9352  
 Residual             6.3668  
fixef(fit_ri)      # β0 と β1
(Intercept)       hours 
  46.087796    3.229567 
  • 真の値:\(\tau = 8\), \(\sigma = 6\), \(\beta_1 = 3\) → ほぼ復元できている
  • ranef():学校ごとのずれ \(\hat u_j\)、coef():学校ごとの直線

図で見る:平行な直線

級内相関係数 (ICC)

全体のばらつきのうち、学校間の違いが占める割合

\[ \text{ICC} = \frac{\tau^2}{\tau^2 + \sigma^2} \]

vc <- as.data.frame(VarCorr(fit_ri))
vc$vcov[1] / sum(vc$vcov)
[1] 0.60836
  • ICC ≈ 0 → 普通の回帰とほぼ同じ
  • ICC が大きい → 混合モデルが重要
  • 「同じ学校の2人の得点の相関」とも解釈できる

5. ランダム傾きモデル

sleepstudy:睡眠不足の実験

18人が睡眠を1日3時間に制限、10日間 反応時間 (ms) を測定

切片だけでなく、悪化のペース(傾き)も人によって違う

モデル式

\[ \text{Reaction}_{ij} = (\beta_0 + u_{0j}) + (\beta_1 + u_{1j}) \cdot \text{Days}_{ij} + \varepsilon_{ij} \]

推定するばらつきは3つ:

  • \(\tau_0\):切片の個人差
  • \(\tau_1\):傾きの個人差
  • \(\rho\):切片と傾きの相関

R の書き方

書き方 意味
(1 | g) 切片のみランダム
(x | g) 切片 + 傾き、相関も推定
(x || g) 切片 + 傾き、相関は 0 と仮定
(0 + x | g) 傾きのみランダム
fit_rs <- lmer(Reaction ~ Days + (Days | Subject), data = sleepstudy)

結果

fixef(fit_rs)
(Intercept)        Days 
  251.40510    10.46729 
VarCorr(fit_rs)
 Groups   Name        Std.Dev. Corr  
 Subject  (Intercept) 24.7407        
          Days         5.9221  0.066 
 Residual             25.5918        
  • 平均的には 1日 10.5 ms 悪化
  • 傾きの個人差 SD ≈ 5.9 → 約95%の人は -1.4〜22.3 ms/日

ランダム切片 vs ランダム傾き

発展:ネストとクロス

  • ネスト(入れ子):生徒 ⊂ クラス ⊂ 学校
    • (1 | school/class)
  • クロス(交差):全被験者 × 全刺激語
    • (1 | subject) + (1 | item)

6. 検定・モデル比較

REML と ML

方法 使いどころ
REML(デフォルト) 最終的な推定値、ランダム効果の比較
ML 固定効果が違うモデルの比較
  • 分散を \(n-1\) で割る(REML)か \(n\) で割る(ML)か、に似た違い
  • anova() は固定効果の比較時に自動で ML に再推定してくれる

固定効果の検定

summary(fit_rs)$coefficients        # lmerTest の Satterthwaite 法
             Estimate Std. Error       df   t value     Pr(>|t|)
(Intercept) 251.40510   6.824597 16.99973 36.838090 1.171558e-17
Days         10.46729   1.545790 16.99998  6.771481 3.263824e-06
fit0 <- lmer(Reaction ~ 1 + (Days | Subject), data = sleepstudy)
anova(fit0, fit_rs)                 # 尤度比検定(自動で ML)
Data: sleepstudy
Models:
fit0: Reaction ~ 1 + (Days | Subject)
fit_rs: Reaction ~ Days + (Days | Subject)
       npar    AIC    BIC  logLik -2*log(L)  Chisq Df Pr(>Chisq)    
fit0      5 1785.5 1801.4 -887.74    1775.5                         
fit_rs    6 1763.9 1783.1 -875.97    1751.9 23.537  1  1.226e-06 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

ランダム効果の検定

anova(fit_ri2, fit_rs, refit = FALSE)   # 固定効果は同じ → REML のまま
Data: sleepstudy
Models:
fit_ri2: Reaction ~ Days + (1 | Subject)
fit_rs: Reaction ~ Days + (Days | Subject)
        npar    AIC    BIC  logLik -2*log(L)  Chisq Df Pr(>Chisq)    
fit_ri2    4 1794.5 1807.2 -893.23    1786.5                         
fit_rs     6 1755.6 1774.8 -871.81    1743.6 42.837  2   4.99e-10 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

警告

「分散 = 0」は取りうる値の端っこ → p 値は保守的(大きめ)になる

AIC で比較

fit_nocor <- lmer(Reaction ~ Days + (Days || Subject), data = sleepstudy)
AIC(fit_ri2, fit_nocor, fit_rs)
          df      AIC
fit_ri2    4 1794.465
fit_nocor  5 1753.669
fit_rs     6 1755.628
  • 小さいほど良い
  • 方針:理論的に考えられるランダム効果を入れる → うまくいかなければ単純化

7. 診断と報告

残差のチェック

  • 左:0 のまわりに均等に散らばれば OK(ラッパ型・曲線は要注意)
  • 右:直線上に並べば正規性 OK

よく出る警告

boundary (singular) fit

分散が 0 / 相関が ±1 と推定された

  • そのランダム効果を外す
  • (x | g) → (x || g) → (1 | g) と簡略化

Model failed to converge

最適化が収束しない

  • 説明変数を中心化・標準化
  • lmerControl(optimizer = "bobyqa")
  • allFit() で複数手法を比較

結果の報告に書くこと

  1. モデル構造:目的変数、固定効果、ランダム効果、グループ
  2. 推定方法:REML/ML、R・lme4 のバージョン、p 値の計算法
  3. 固定効果:推定値、SE or 95%CI、検定結果
  4. ランダム効果:各 SD、相関

睡眠制限1日あたり反応時間は平均 10.5 ms 増加した(95% CI [7.4, 13.5], t(17.0) = 6.77, p < .001)。傾きの個人差の SD は 5.9 ms/日 であった。

まとめ

  • グループ構造 → 独立でない → 線形混合モデル
  • 固定効果=全体共通、ランダム効果=グループごとにばらつく
  • lmer(y ~ x + (1 | g)):ランダム切片
  • lmer(y ~ x + (x | g)):ランダム傾き
  • 部分プーリング → 縮小推定
  • 比較は anova() / AIC、診断は残差プロット

次のステップ

  • ハンズオンブックの演習問題(Orthodont データで6問)
  • GLMM:0/1 やカウントの目的変数 → glmer(..., family = binomial)
  • ベイズ:brms パッケージ
  • 参考書
    • 久保拓弥『データ解析のための統計モデリング入門』
    • Gelman & Hill “Data Analysis Using Regression and Multilevel/Hierarchical Models”