3  3つのプーリング(まとめ方)

ヒントこの章はブラウザ上で R を実行できます

コードセルは 編集して「Run Code」を押すと再実行 できます(R はあなたのブラウザ内で動いています)。 初回はパッケージの読み込みに数十秒かかります。数値を変えて結果がどう変わるか、自由に試してください。

「学校ごとのずれ」をどう扱うかには、大きく 3 つの考え方があります。プーリング (pooling) とは「データをまとめる」という意味です。

考え方 学校の違い イメージ
完全プーリング (complete pooling) 無視する 全校を1つの集団とみなす
プーリングなし (no pooling) 学校ごとに完全に別々に推定 学校どうしは無関係とみなす
部分プーリング (partial pooling) 学校ごとに違うが、似ている ← 線形混合モデル

3.1 完全プーリング:学校を無視する

前章の lm(score ~ hours) がこれです。すべての学校に同じ直線を当てはめます。

問題点:学校の違いを無視しているので、独立性の仮定が崩れる(第 チャプター 1 章)。

3.2 プーリングなし:学校ごとに切片を別々に推定

学校をダミー変数としてモデルに入れると、学校ごとに別々の切片を推定できます(傾きは共通)。

問題点:

  • 生徒が 3〜4 人しかいない学校の切片も、その数人だけで決めてしまう → 推定が不安定
  • 「学校は似ている」という情報を使っていない
  • 推定するパラメータ数が学校数に比例して増える
  • 「この20校以外の学校」について何も言えない

3.3 部分プーリング:線形混合モデル

線形混合モデルでは、

学校ごとの切片は違う。でもそれらは ある1つの分布(正規分布)から出てきた と考える

という仮定を置きます。

3.4 3つを比べてみる

学校ごとの切片の推定値を、「プーリングなし」と「部分プーリング」で比べます。

観察してほしいこと:

  1. 青い点(部分プーリング)は、赤い点(プーリングなし)より 全体平均(点線)側に寄っている
  2. その寄り方は、生徒数が少ない学校(小さい赤丸)ほど大きい

これを 縮小推定 (shrinkage) と呼びます。

ノート縮小推定の直感

生徒が 3 人しかいない学校で、たまたま平均が極端に高かったとします。 それをそのまま「この学校の実力」と信じるのは危険です。 「学校というものは大体このくらい」という全体の情報と、「この学校の 3 人のデータ」を データ量に応じて重み付けして混ぜる のが部分プーリングです。

  • データが多い学校 → 自分のデータを信じる(あまり縮まない)
  • データが少ない学校 → 全体平均を頼りにする(大きく縮む)

3.5 「固定効果」と「ランダム効果」

線形混合モデルの「混合 (mixed)」は、2 種類の効果を 混ぜて 使うことを指します。

  • 固定効果 (fixed effect):全体に共通の値を1つ推定するもの
    • 例:勉強時間の傾き \(\beta_1\)、全体の切片 \(\beta_0\)
  • ランダム効果 (random effect):グループごとに異なり、ある分布からばらつくとみなすもの
    • 例:学校ごとの切片のずれ \(u_j\)
ヒントランダム効果にするか迷ったら
  • グループが「母集団からのサンプル」と考えられる(学校、患者、店舗、被験者…)
  • グループの数がある程度多い(目安:5〜6 以上。少ないと分散の推定が不安定)
  • 個々のグループの値そのものより、「グループ間のばらつき」や「全体の効果」に興味がある

こういうときはランダム効果が向いています。逆に「男性/女性」「薬A/薬B」のように、 水準そのものに興味があり、水準数が少ないものは固定効果にします。

重要この章のまとめ
  • 完全プーリング:違いを無視 → 独立性が崩れる
  • プーリングなし:完全に別々 → 少ないデータの推定が不安定
  • 部分プーリング(線形混合モデル):グループは違うが似ている → 縮小推定
  • 固定効果 = 全体共通の値、ランダム効果 = グループごとにばらつく値