3 3つのプーリング(まとめ方)
ヒントこの章はブラウザ上で R を実行できます
コードセルは 編集して「Run Code」を押すと再実行 できます(R はあなたのブラウザ内で動いています)。 初回はパッケージの読み込みに数十秒かかります。数値を変えて結果がどう変わるか、自由に試してください。
「学校ごとのずれ」をどう扱うかには、大きく 3 つの考え方があります。プーリング (pooling) とは「データをまとめる」という意味です。
| 考え方 | 学校の違い | イメージ |
|---|---|---|
| 完全プーリング (complete pooling) | 無視する | 全校を1つの集団とみなす |
| プーリングなし (no pooling) | 学校ごとに完全に別々に推定 | 学校どうしは無関係とみなす |
| 部分プーリング (partial pooling) | 学校ごとに違うが、似ている | ← 線形混合モデル |
3.1 完全プーリング:学校を無視する
前章の lm(score ~ hours) がこれです。すべての学校に同じ直線を当てはめます。
問題点:学校の違いを無視しているので、独立性の仮定が崩れる(第 チャプター 1 章)。
3.2 プーリングなし:学校ごとに切片を別々に推定
学校をダミー変数としてモデルに入れると、学校ごとに別々の切片を推定できます(傾きは共通)。
問題点:
- 生徒が 3〜4 人しかいない学校の切片も、その数人だけで決めてしまう → 推定が不安定
- 「学校は似ている」という情報を使っていない
- 推定するパラメータ数が学校数に比例して増える
- 「この20校以外の学校」について何も言えない
3.3 部分プーリング:線形混合モデル
線形混合モデルでは、
学校ごとの切片は違う。でもそれらは ある1つの分布(正規分布)から出てきた と考える
という仮定を置きます。
3.4 3つを比べてみる
学校ごとの切片の推定値を、「プーリングなし」と「部分プーリング」で比べます。
観察してほしいこと:
- 青い点(部分プーリング)は、赤い点(プーリングなし)より 全体平均(点線)側に寄っている
- その寄り方は、生徒数が少ない学校(小さい赤丸)ほど大きい
これを 縮小推定 (shrinkage) と呼びます。
ノート縮小推定の直感
生徒が 3 人しかいない学校で、たまたま平均が極端に高かったとします。 それをそのまま「この学校の実力」と信じるのは危険です。 「学校というものは大体このくらい」という全体の情報と、「この学校の 3 人のデータ」を データ量に応じて重み付けして混ぜる のが部分プーリングです。
- データが多い学校 → 自分のデータを信じる(あまり縮まない)
- データが少ない学校 → 全体平均を頼りにする(大きく縮む)
3.5 「固定効果」と「ランダム効果」
線形混合モデルの「混合 (mixed)」は、2 種類の効果を 混ぜて 使うことを指します。
- 固定効果 (fixed effect):全体に共通の値を1つ推定するもの
- 例:勉強時間の傾き \(\beta_1\)、全体の切片 \(\beta_0\)
- ランダム効果 (random effect):グループごとに異なり、ある分布からばらつくとみなすもの
- 例:学校ごとの切片のずれ \(u_j\)
ヒントランダム効果にするか迷ったら
- グループが「母集団からのサンプル」と考えられる(学校、患者、店舗、被験者…)
- グループの数がある程度多い(目安:5〜6 以上。少ないと分散の推定が不安定)
- 個々のグループの値そのものより、「グループ間のばらつき」や「全体の効果」に興味がある
こういうときはランダム効果が向いています。逆に「男性/女性」「薬A/薬B」のように、 水準そのものに興味があり、水準数が少ないものは固定効果にします。
重要この章のまとめ
- 完全プーリング:違いを無視 → 独立性が崩れる
- プーリングなし:完全に別々 → 少ないデータの推定が不安定
- 部分プーリング(線形混合モデル):グループは違うが似ている → 縮小推定
- 固定効果 = 全体共通の値、ランダム効果 = グループごとにばらつく値