混合効果モデル

同義語:mixed-effects modelmixed effects model線形混合モデル線形混合効果モデルlinear mixed model

概要

混合効果モデル(mixed-effects model)とは、観測を $y=X\beta+Zu+\varepsilon$ と表し、全体に共通の係数 $\beta$ を固定効果、群や個体ごとのずれ $u$ を平均 $0$・共分散 $G$ の確率変数(変量効果)とみなす回帰モデルで、同じ群の観測の相関を表す。$G$ と誤差の共分散 $R$ が既知なら、$\beta$ の一般化最小二乗推定量と $u$ の予測 $GZ^{\mathsf T}V^{-1}(y-X\hat\beta)$($V=ZGZ^{\mathsf T}+R$)が最良線形不偏予測量(BLUP)で、両者は Henderson の混合模型方程式の解として得られる。分散の母数は、$\beta$ によらない誤差の対比の尤度を最大にする制限付き最尤法(REML)で推定し、釣り合った一元配置では負でない限り分散分析の推定量と一致する。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 回帰分析, 多変量正規分布, Gauss–Markovの定理, 分散分析

同じ患者を何度も測る、同じ学校から何人もの生徒を選ぶ、といったデータでは、同じ群の観測どうしが似る。群ごとの違いを未知の定数として回帰に入れると、群の数だけ母数が増え、新しい群について何も言えない。群の違いを 確率変数(変量効果)とみなし、全体に共通の係数(固定効果)と合わせたものが 混合効果モデル である。
この記事では線形の混合効果モデルを定義し、次を証明する。

  1. 固定効果の最良線形不偏推定量(BLUE)と、変量効果の 最良線形不偏予測量(BLUP)の公式(主定理 1)。
  2. 両者が Henderson の 混合模型方程式 の解としてまとめて得られること(主定理 2)。
  3. 分散の母数を推定する 制限付き最尤法(REML)の尤度の公式(主定理 3)と、釣り合った一元配置での解。
    分散分析 の節「変量効果モデル」は、釣り合った一元配置の平均平方の分布を扱っている。この記事はそれを含む一般の線形モデルを扱う。

定義と使える条件

ベクトルは列ベクトルとし、転置を $^{\mathsf T}$ で表す。

線形混合効果モデル

観測 $y\in\mathbb R^N$ が
$$ y=X\beta+Zu+\varepsilon $$
と書けるとする。ここで $X\in\mathbb R^{N\times p}$、$Z\in\mathbb R^{N\times q}$ は既知の行列、$\beta\in\mathbb R^p$ は未知の定数のベクトル(固定効果)、$u\in\mathbb R^q$ は 変量効果、$\varepsilon\in\mathbb R^N$ は誤差で、
$$ E[u]=0,\quad E[\varepsilon]=0,\quad\operatorname{Cov}[u]=G,\quad\operatorname{Cov}[\varepsilon]=R,\quad\operatorname{Cov}[u,\varepsilon]=O $$
とする。$G,R$ は正定値で、未知の 分散の母数 $\theta$ の関数であってよい。これを 線形混合効果モデル という。$u$ と $\varepsilon$ が独立で、それぞれ正規分布に従うとき 正規の 線形混合効果モデルという。

$y$ の平均と共分散は
$$ E[y]=X\beta,\qquad V:=\operatorname{Cov}[y]=ZGZ^{\mathsf T}+R,\qquad\operatorname{Cov}[u,y]=GZ^{\mathsf T} $$
である。$V$ は正定値である。
使ってよい条件をまとめる。

  • (i) $X$ の列は 1 次独立である(階数 $p$)。
  • (ii) $G$ と $R$ は既知である(主定理 1・2)。未知のときは $\theta$ の関数として推定する(主定理 3)。
  • (iii) $E[u]=0$ で、$u$ と $\varepsilon$ は無相関である。
  • (iv) 尤度を使うときは $u$ と $\varepsilon$ が独立で、それぞれ正規分布に従う。

代表的なモデル

  • ランダム切片:群 $i=1,\dots,k$ の $j$ 番目の観測について $y_{ij}=x_{ij}^{\mathsf T}\beta+a_i+\varepsilon_{ij}$、$a_i\sim N(0,\sigma_A^2)$、$\varepsilon_{ij}\sim N(0,\sigma^2)$ がすべて独立。$Z$ は群の所属を表す 0–1 行列、$G=\sigma_A^2I_k$、$R=\sigma^2I_N$ である。$x_{ij}=1$($p=1$)で各群 $n$ 個なら、分散分析 の命題「変量効果の一元配置」のモデルになる。
  • 縦断データ:個体 $i$ を時刻 $t_{ij}$ に測り、$y_{ij}=\beta_0+\beta_1t_{ij}+a_i+b_it_{ij}+\varepsilon_{ij}$ とする。個体ごとの切片と傾きのずれ $(a_i,b_i)$ が独立に $N(0,\Sigma)$($\Sigma$ は $2\times2$)に従う。$G$ は $\Sigma$ を $k$ 個並べたブロック対角行列である。
    同じ群の 2 つの観測の共分散は、ランダム切片では $\sigma_A^2$、相関は級内相関係数 $\rho=\sigma_A^2/(\sigma_A^2+\sigma^2)$ である。観測を独立とみなす通常の最小二乗法は、この相関を無視するので標準誤差を誤る。

公式の表

$P:=V^{-1}-V^{-1}X(X^{\mathsf T}V^{-1}X)^{-1}X^{\mathsf T}V^{-1}$ とおく。

量式使える条件根拠
固定効果の BLUE$\hat\beta=(X^{\mathsf T}V^{-1}X)^{-1}X^{\mathsf T}V^{-1}y$(i)(ii)(iii)thm-mem-blup
変量効果の BLUP$\tilde u=GZ^{\mathsf T}V^{-1}(y-X\hat\beta)=GZ^{\mathsf T}Py$(i)(ii)(iii)thm-mem-blup
予測の誤差$\operatorname{Cov}[\tilde u-u]=G-GZ^{\mathsf T}PZG$(i)(ii)(iii)thm-mem-blup
混合模型方程式$\begin{pmatrix}X^{\mathsf T}R^{-1}X&X^{\mathsf T}R^{-1}Z\\Z^{\mathsf T}R^{-1}X&Z^{\mathsf T}R^{-1}Z+G^{-1}\end{pmatrix}\begin{pmatrix}\beta\\u\end{pmatrix}=\begin{pmatrix}X^{\mathsf T}R^{-1}y\\Z^{\mathsf T}R^{-1}y\end{pmatrix}$(i)(ii)thm-mem-henderson
REML の対数尤度$-\frac12\bigl[\log\det V+\log\det(X^{\mathsf T}V^{-1}X)+y^{\mathsf T}Py\bigr]+$ 定数(i)(iv)thm-mem-reml
一元配置の REML 推定$\hat\sigma^2=\mathrm{MSW}$、$\hat\sigma_A^2=(\mathrm{MSB}-\mathrm{MSW})/n$($\mathrm{MSB}\ge\mathrm{MSW}$)釣り合い、(iv)prop-mem-oneway

予測と推定

変量効果の条件付き分布

正規の線形混合効果モデルで、$\beta$ と $G,R$ を固定すると
$$ u\mid y\ \sim\ N\bigl(GZ^{\mathsf T}V^{-1}(y-X\beta),\ G-GZ^{\mathsf T}V^{-1}ZG\bigr) $$
である。

同時分布から条件付ける

要点:$(y,u)$ は同時に正規分布に従うので、多変量正規分布 の定理「条件付き分布」を当てる。

詳しい証明を開く

$(y,u)$ は独立な正規ベクトル $(u,\varepsilon)$ の 1 次変換なので、多変量正規分布 の定理「1 次変換で多変量正規分布は保たれる」により同時に正規分布に従い、平均は $(X\beta,0)$、共分散は $\operatorname{Cov}[y]=V$、$\operatorname{Cov}[u,y]=GZ^{\mathsf T}$、$\operatorname{Cov}[u]=G$ である。同じ記事の定理「条件付き分布」を $X^{(1)}=y$、$X^{(2)}=u$ として使えばよい。$\square$

$\beta$ がわかっていれば、$u$ の予測には条件付き期待値 $GZ^{\mathsf T}V^{-1}(y-X\beta)$ を使えばよい。実際には $\beta$ も未知なので、正規性を仮定せず、線形で偏りのない予測量の中で 2 乗誤差を最小にするものを探す。予測したい量を $k^{\mathsf T}\beta+m^{\mathsf T}u$($k\in\mathbb R^p$、$m\in\mathbb R^q$ は既知)とする。$k=0$ なら 1 つの変量効果、$m=0$ なら固定効果の 1 次結合である。

最良線形不偏予測量

(i)(ii)(iii) を仮定する。$a\in\mathbb R^N$ が 不偏 とは、すべての $\beta$ で $E[a^{\mathsf T}y-k^{\mathsf T}\beta-m^{\mathsf T}u]=0$ となること、すなわち $X^{\mathsf T}a=k$ をいう。不偏な $a$ のうち、2 乗誤差 $E[(a^{\mathsf T}y-k^{\mathsf T}\beta-m^{\mathsf T}u)^2]$ を最小にするものはただ 1 つで、その予測量は
$$ k^{\mathsf T}\hat\beta+m^{\mathsf T}\tilde u,\qquad\hat\beta=(X^{\mathsf T}V^{-1}X)^{-1}X^{\mathsf T}V^{-1}y,\quad\tilde u=GZ^{\mathsf T}V^{-1}(y-X\hat\beta) $$
である。$k=0$ のときの最小の 2 乗誤差は $m^{\mathsf T}(G-GZ^{\mathsf T}PZG)m$ である。

制約つきの 2 次形式の最小化

2 乗誤差の式。 不偏な $a$ について誤差の平均は $0$ なので、2 乗誤差は分散に等しく、$\operatorname{Cov}[y]=V$、$\operatorname{Cov}[y,u]=ZG$ から
$$ M(a):=a^{\mathsf T}Va-2a^{\mathsf T}ZGm+m^{\mathsf T}Gm $$
である。
候補。 $B:=X^{\mathsf T}V^{-1}X$((i) と $V$ の正定値性から正則)とし、
$$ a_0:=V^{-1}XB^{-1}k+PZGm $$
とおく。$X^{\mathsf T}P=O$ なので $X^{\mathsf T}a_0=k$ で、$a_0$ は不偏である。$a_0^{\mathsf T}y=k^{\mathsf T}B^{-1}X^{\mathsf T}V^{-1}y+m^{\mathsf T}GZ^{\mathsf T}Py=k^{\mathsf T}\hat\beta+m^{\mathsf T}\tilde u$ である($Py=V^{-1}(y-X\hat\beta)$)。
最小性。 $Va_0-ZGm=XB^{-1}k+VPZGm-ZGm$ で、$VP=I-XB^{-1}X^{\mathsf T}V^{-1}$ なので
$$ Va_0-ZGm=X\lambda,\qquad\lambda:=B^{-1}\bigl(k-X^{\mathsf T}V^{-1}ZGm\bigr) $$
である。不偏な $a$ を $a=a_0+d$ と書くと $X^{\mathsf T}d=0$ で、
$$ M(a)=M(a_0)+d^{\mathsf T}Vd+2d^{\mathsf T}(Va_0-ZGm)=M(a_0)+d^{\mathsf T}Vd $$
である($d^{\mathsf T}X\lambda=0$)。$V$ は正定値なので $M(a)\ge M(a_0)$ で、等号は $d=0$ のときに限る。
誤差。 $k=0$ なら $a_0=PZGm$ で、$PVP=P$($VP=I-XB^{-1}X^{\mathsf T}V^{-1}$ に左から $P$ を掛け $PX=O$ を使う)から $a_0^{\mathsf T}Va_0=a_0^{\mathsf T}ZGm=m^{\mathsf T}GZ^{\mathsf T}PZGm$ である。$M(a_0)=m^{\mathsf T}Gm-m^{\mathsf T}GZ^{\mathsf T}PZGm$ を得る。$\square$

$m=0$ の場合が、誤差の共分散が $V$ の線形モデルでの一般化最小二乗推定量の最良性(Gauss–Markovの定理 の定理「一般化最小二乗推定量の最良性」)である。$\tilde u$ は prop-mem-conditional の条件付き期待値で $\beta$ を $\hat\beta$ に置き換えた形をしている。予測の誤差 $G-GZ^{\mathsf T}PZG$ は条件付き分散 $G-GZ^{\mathsf T}V^{-1}ZG$ より、$\beta$ を推定した分だけ大きい。

混合模型方程式

thm-mem-blup の公式は $N$ 次の行列 $V$ の逆行列を使う。観測が多いと $V$ は大きいが、$R$ が対角で $G$ が小さいことが多い。次の方程式は $R^{-1}$ と $G^{-1}$ だけで書け、大きさは $p+q$ である。

Henderson の混合模型方程式

(i)(ii) を仮定する。連立 1 次方程式
$$ \begin{pmatrix}X^{\mathsf T}R^{-1}X&X^{\mathsf T}R^{-1}Z\\Z^{\mathsf T}R^{-1}X&Z^{\mathsf T}R^{-1}Z+G^{-1}\end{pmatrix}\begin{pmatrix}b\\v\end{pmatrix}=\begin{pmatrix}X^{\mathsf T}R^{-1}y\\Z^{\mathsf T}R^{-1}y\end{pmatrix} $$
の係数行列は正定値で、ただ 1 つの解は $(b,v)=(\hat\beta,\tilde u)$ である。

逆行列の公式で $V^{-1}$ に戻す

正定値性。 係数行列を $C$ と書くと、$(b,v)$ について
$$ (b^{\mathsf T},v^{\mathsf T})\,C\begin{pmatrix}b\\v\end{pmatrix}=(Xb+Zv)^{\mathsf T}R^{-1}(Xb+Zv)+v^{\mathsf T}G^{-1}v $$
である。これが $0$ なら $v=0$、さらに $Xb=0$ で、(i) から $b=0$ である。よって $C$ は正定値で、解はただ 1 つである。
2 つの恒等式。 $D:=Z^{\mathsf T}R^{-1}Z+G^{-1}$(正定値)とおく。
$$ DGZ^{\mathsf T}=Z^{\mathsf T}R^{-1}ZGZ^{\mathsf T}+Z^{\mathsf T}=Z^{\mathsf T}R^{-1}(ZGZ^{\mathsf T}+R)=Z^{\mathsf T}R^{-1}V $$
なので $D^{-1}Z^{\mathsf T}R^{-1}=GZ^{\mathsf T}V^{-1}$ である。これを使うと
$$ \bigl(R^{-1}-R^{-1}ZD^{-1}Z^{\mathsf T}R^{-1}\bigr)V=I+R^{-1}ZGZ^{\mathsf T}-R^{-1}Z\,GZ^{\mathsf T}V^{-1}V=I $$
なので $V^{-1}=R^{-1}-R^{-1}ZD^{-1}Z^{\mathsf T}R^{-1}$ である(Woodbury の公式。Sherman–Morrisonの公式 の一般化)。
解く。 第 2 行は $Dv=Z^{\mathsf T}R^{-1}(y-Xb)$、すなわち $v=D^{-1}Z^{\mathsf T}R^{-1}(y-Xb)=GZ^{\mathsf T}V^{-1}(y-Xb)$ である。これを第 1 行に代入すると
$$ X^{\mathsf T}\bigl(R^{-1}-R^{-1}ZD^{-1}Z^{\mathsf T}R^{-1}\bigr)(y-Xb)=0,\quad\text{すなわち}\quad X^{\mathsf T}V^{-1}(y-Xb)=0 $$
で、$b=\hat\beta$ である。このとき $v=\tilde u$ である。$\square$

混合模型方程式は、関数
$$ Q(b,v):=(y-Xb-Zv)^{\mathsf T}R^{-1}(y-Xb-Zv)+v^{\mathsf T}G^{-1}v $$
の勾配を $0$ とおいた式そのものである。$C$ が正定値なので $Q$ は狭義凸で、$(\hat\beta,\tilde u)$ はその最小点である。つまり BLUP は、変量効果に罰則 $v^{\mathsf T}G^{-1}v$ を付けた最小二乗であり、$G=\tau^2I$ なら $v$ についてのリッジ回帰(Tikhonov正則化)と同じ形になる。正規のモデルでは $Q$ は $-2\log$($y$ と $u$ の同時密度)から定数を除いたものなので、$(\hat\beta,\tilde u)$ は同時密度を $\beta$ と $u$ について最大にする点でもある。

分散の母数の推定

$G,R$ が分散の母数 $\theta$ に依存するとき、$\theta$ を推定して $\hat\beta,\tilde u$ に代入する。$y\sim N(X\beta,V_\theta)$ の尤度を $(\beta,\theta)$ について最大にする最尤法は、$\beta$ を推定した分の自由度を考えないので分散を小さく見積もる。そこで、$\beta$ によらない 誤差の対比 $w=A^{\mathsf T}y$ の尤度だけを使う。ここで $A\in\mathbb R^{N\times(N-p)}$ は列が 1 次独立で $A^{\mathsf T}X=O$ を満たす行列で、$w\sim N(0,A^{\mathsf T}V_\theta A)$ は $\beta$ によらない。

制限付き最尤法の尤度

(i)(iv) を仮定し、$V=V_\theta$、$P=P_\theta$ とする。$w=A^{\mathsf T}y$ の対数尤度は
$$ \ell_R(\theta)=-\frac12\Bigl[\log\det V+\log\det\bigl(X^{\mathsf T}V^{-1}X\bigr)+(y-X\hat\beta_\theta)^{\mathsf T}V^{-1}(y-X\hat\beta_\theta)\Bigr]+c_A $$
である。ここで $\hat\beta_\theta=(X^{\mathsf T}V^{-1}X)^{-1}X^{\mathsf T}V^{-1}y$、$c_A$ は $\theta$ によらない定数で、$A$ の選び方はこの定数にしか効かない。$\ell_R$ を最大にする $\theta$ を REML 推定量 という。

射影の分解と行列式の分解

$w$ の密度から $\ell_R=-\frac12\bigl[\log\det(A^{\mathsf T}VA)+w^{\mathsf T}(A^{\mathsf T}VA)^{-1}w\bigr]-\frac{N-p}2\log2\pi$ である。2 つの項を書き直す。
2 次形式。 $M:=V^{1/2}A$、$L:=V^{-1/2}X$ とおくと $M^{\mathsf T}L=A^{\mathsf T}X=O$ で、階数は $N-p$ と $p$ なので、$M$ と $L$ の列は $\mathbb R^N$ を直交する 2 つの部分空間に分ける。それぞれへの直交射影 $M(M^{\mathsf T}M)^{-1}M^{\mathsf T}$ と $L(L^{\mathsf T}L)^{-1}L^{\mathsf T}$ の和は $I$ なので、左右から $V^{-1/2}$ を掛けて
$$ A(A^{\mathsf T}VA)^{-1}A^{\mathsf T}=V^{-1}-V^{-1}X(X^{\mathsf T}V^{-1}X)^{-1}X^{\mathsf T}V^{-1}=P $$
を得る。よって $w^{\mathsf T}(A^{\mathsf T}VA)^{-1}w=y^{\mathsf T}Py$ である。$Py=V^{-1}(y-X\hat\beta)$ と $X^{\mathsf T}V^{-1}(y-X\hat\beta)=0$ から $y^{\mathsf T}Py=(y-X\hat\beta)^{\mathsf T}V^{-1}(y-X\hat\beta)$ である。
行列式。 $T:=(A\ \ X)$ は $N$ 次の正則行列で、$A^{\mathsf T}X=O$ から $T^{\mathsf T}T=\operatorname{diag}(A^{\mathsf T}A,X^{\mathsf T}X)$、$T^{-1}=\begin{pmatrix}(A^{\mathsf T}A)^{-1}A^{\mathsf T}\\(X^{\mathsf T}X)^{-1}X^{\mathsf T}\end{pmatrix}$ である。$K:=T^{\mathsf T}VT$ の左上の区画は $A^{\mathsf T}VA$ で、$K^{-1}=T^{-1}V^{-1}(T^{-1})^{\mathsf T}$ の右下の区画は $(X^{\mathsf T}X)^{-1}X^{\mathsf T}V^{-1}X(X^{\mathsf T}X)^{-1}$ である。Schur補行列 の定理「Schur補行列による区分LDU分解」から $\det K=\det(A^{\mathsf T}VA)\det(K/A^{\mathsf T}VA)$ で、同じ分解の逆をとると、Schur 補行列 $K/A^{\mathsf T}VA$ は $K^{-1}$ の右下の区画の逆行列である。よって
$$ \det(A^{\mathsf T}VA)=\frac{\det K}{\det\bigl((K^{-1})_{22}\bigr)^{-1}}=\det(T^{\mathsf T}T)\det V\cdot\frac{\det(X^{\mathsf T}V^{-1}X)}{\det(X^{\mathsf T}X)^2}=\frac{\det(A^{\mathsf T}A)}{\det(X^{\mathsf T}X)}\det V\det(X^{\mathsf T}V^{-1}X) $$
である。$\det(A^{\mathsf T}A)$、$\det(X^{\mathsf T}X)$ は $\theta$ によらないので結論を得る。$\square$

最尤法の対数尤度($\beta$ について最大化したもの)は $-\frac12\bigl[\log\det V+(y-X\hat\beta)^{\mathsf T}V^{-1}(y-X\hat\beta)\bigr]$ に定数を加えたもので、REML との違いは $-\frac12\log\det(X^{\mathsf T}V^{-1}X)$ の項だけである。この項が、$\beta$ の推定で失われる自由度を補正する。最も簡単な $V=\sigma^2I_N$ の場合、最尤推定量は残差平方和を $N$ で割り、REML 推定量は $N-p$ で割る(後者が不偏)。

釣り合った一元配置

一元配置の REML 推定量と最尤推定量

$y_{ij}=\mu+a_i+\varepsilon_{ij}$($i=1,\dots,k$、$j=1,\dots,n$、$k,n\ge2$)、$a_i\sim N(0,\sigma_A^2)$、$\varepsilon_{ij}\sim N(0,\sigma^2)$ がすべて独立とし、母数の範囲を $\sigma^2>0$、$\sigma_A^2\ge0$ とする。$\mathrm{SSB},\mathrm{SSW},\mathrm{MSB},\mathrm{MSW}$ を 分散分析 の記号とし、$\lambda:=\sigma^2+n\sigma_A^2$ とおく。

  1. $\hat\mu=\bar y$ で、$\ell_R=-\frac12\bigl[k(n-1)\log\sigma^2+(k-1)\log\lambda+\frac{\mathrm{SSW}}{\sigma^2}+\frac{\mathrm{SSB}}\lambda\bigr]+$ 定数 である。
  2. $\mathrm{MSB}\ge\mathrm{MSW}$ なら REML 推定量は $\hat\sigma^2=\mathrm{MSW}$、$\hat\sigma_A^2=(\mathrm{MSB}-\mathrm{MSW})/n$ である。$\mathrm{MSB}< \mathrm{MSW}$ なら $\hat\sigma_A^2=0$、$\hat\sigma^2=(\mathrm{SSB}+\mathrm{SSW})/(kn-1)$ である。
  3. 最尤推定量は、$\frac{k-1}k\mathrm{MSB}\ge\mathrm{MSW}$ のとき $\hat\sigma^2=\mathrm{MSW}$、$\hat\sigma_A^2=\bigl(\frac{k-1}k\mathrm{MSB}-\mathrm{MSW}\bigr)/n$ である。
共分散行列の固有分解

要点:$V$ は群の中で一定なベクトルの空間の上で $\lambda$ 倍、その直交補空間の上で $\sigma^2$ 倍に働くので、thm-mem-reml の 3 つの項が $\mathrm{SSB}$ と $\mathrm{SSW}$ で書ける。$(1/\sigma^2,1/\lambda)$ について凸な関数を、凸集合 $\lambda\ge\sigma^2$ の上で最小にする。

詳しい証明を開く

1。 観測を群ごとに並べると $V=\sigma^2I_{kn}+\sigma_A^2(I_k\otimes J_n)$($J_n$ は成分がすべて $1$ の $n$ 次行列)である。群の中で一定なベクトルの空間 $\mathcal B$(次元 $k$)の上で $V$ は $\lambda$ 倍、その直交補空間(次元 $k(n-1)$)の上で $\sigma^2$ 倍に働く。よって $\det V=\sigma^{2k(n-1)}\lambda^k$ である。$X=\mathbf 1$ は $\mathcal B$ に入るので $V^{-1}\mathbf 1=\lambda^{-1}\mathbf 1$、$X^{\mathsf T}V^{-1}X=kn/\lambda$、$\hat\mu=\bar y$ である。$y-\bar y\mathbf 1$ を $\mathcal B$ の成分(各観測を $\bar y_{i\cdot}-\bar y$ に置き換えたもの、2 乗和 $\mathrm{SSB}$)と補空間の成分(群平均からの偏差、2 乗和 $\mathrm{SSW}$)に分けると、$(y-\bar y\mathbf 1)^{\mathsf T}V^{-1}(y-\bar y\mathbf 1)=\frac{\mathrm{SSB}}\lambda+\frac{\mathrm{SSW}}{\sigma^2}$ である。thm-mem-reml に代入すると、$\log\det V+\log\det(X^{\mathsf T}V^{-1}X)=k(n-1)\log\sigma^2+(k-1)\log\lambda+\log(kn)$ から式を得る。

2。 $(s,l):=(1/\sigma^2,1/\lambda)$ に変数を替えると、$-2\ell_R$ は定数を除き $f(s,l):=-a\log s-b\log l+\mathrm{SSW}\,s+\mathrm{SSB}\,l$($a:=k(n-1)$、$b:=k-1$)で、$s,l>0$ で狭義凸である(確率 $1$ で $\mathrm{SSB},\mathrm{SSW}>0$ で、$f$ は $s$ または $l$ が $0$ か $\infty$ に近づくと $+\infty$ に発散するので、閉じた範囲の上で最小点をもつ)。母数の範囲 $\sigma_A^2\ge0$ は $\lambda\ge\sigma^2$、すなわち凸集合 $\{l\le s\}$ にあたる。制約なしの最小点は、偏微分を $0$ として $s=a/\mathrm{SSW}=1/\mathrm{MSW}$、$l=b/\mathrm{SSB}=1/\mathrm{MSB}$ である。$\mathrm{MSB}\ge\mathrm{MSW}$ ならこれは範囲に入り、$\hat\sigma^2=\mathrm{MSW}$、$\hat\sigma_A^2=(\lambda-\sigma^2)/n=(\mathrm{MSB}-\mathrm{MSW})/n$ である。$\mathrm{MSB}< \mathrm{MSW}$ なら範囲の外にあり、範囲の中の最小点は境界 $l=s$ の上にある(範囲の内部に最小点があれば、凸関数の局所最小は大域最小なので、制約なしの最小点と一致してしまう)。境界では $f=-(a+b)\log s+(\mathrm{SSW}+\mathrm{SSB})s$ で、最小点は $s=(a+b)/(\mathrm{SSW}+\mathrm{SSB})$、$a+b=kn-1$ である。

3。 最尤法では $\log\det(X^{\mathsf T}V^{-1}X)$ の項がないので、2 の $b$ が $k$ に替わり、制約なしの最小点は $l=k/\mathrm{SSB}$、すなわち $\lambda=\mathrm{SSB}/k=\frac{k-1}k\mathrm{MSB}$ である。$\square$

$E[\mathrm{MSB}]=\sigma^2+n\sigma_A^2$、$E[\mathrm{MSW}]=\sigma^2$(分散分析 の命題「変量効果の一元配置」)なので、REML の $(\mathrm{MSB}-\mathrm{MSW})/n$ は(負でない範囲で)分散分析による不偏推定量と一致し、最尤推定量は $\frac{\mathrm{MSB}}{kn}$ だけ小さい側に偏る。群の数 $k$ が少ないと、この偏りは大きい。

例題

ロットの変量効果の予測

分散分析 の例題「ロットの変量効果」のデータ(4 ロット、各 3 個)で、ロットの効果を予測する。
使う公式:prop-mem-oneway、thm-mem-blup。
答え:$\mathrm{MSB}=1.21417\ge\mathrm{MSW}=0.09$ なので、REML 推定値は $\hat\sigma^2=0.09$、$\hat\sigma_A^2=0.37472$ である。最尤推定値は $\hat\sigma_A^2=(\frac34\cdot1.21417-0.09)/3\approx0.27354$ で、約 $27\%$ 小さい。推定値を代入した BLUP は
$$ \tilde a_i=w\,(\bar y_{i\cdot}-\bar y),\qquad w=\frac{n\sigma_A^2}{n\sigma_A^2+\sigma^2}=\frac{1.12417}{1.21417}\approx0.92588 $$
で、ロットの順に $-0.2392,\ 0.6250,\ -0.7021,\ 0.3163$ である。群平均のずれ $-0.2583,\ 0.675,\ -0.7583,\ 0.3417$ を $w$ 倍だけ $0$ の方へ縮めている。

縮める係数の導き方を開く

釣り合った一元配置では $\hat\mu=\bar y$(prop-mem-oneway の 1)。$Z^{\mathsf T}$ は群ごとの和をとる行列で、$V^{-1}$ は $\mathcal B$ の成分を $\lambda^{-1}$ 倍するので、$Z^{\mathsf T}V^{-1}(y-\bar y\mathbf 1)$ の第 $i$ 成分は $n(\bar y_{i\cdot}-\bar y)/\lambda$。$G=\sigma_A^2I$ を掛けて $\tilde a_i=\frac{n\sigma_A^2}\lambda(\bar y_{i\cdot}-\bar y)$。

縮める度合いと群の大きさ

ランダム切片のモデルで、群 $i$ の観測の数が $n_i$ と違うとき($\mu$ は既知とする)、群の効果の BLUP は $\frac{n_i\sigma_A^2}{n_i\sigma_A^2+\sigma^2}(\bar y_{i\cdot}-\mu)$ である。
使う公式:prop-mem-conditional。
答え:$\sigma_A^2=\sigma^2=1$ なら、観測が $1$ 個の群は群平均のずれを $\frac12$ に、$9$ 個の群は $\frac9{10}$ に縮める。観測の少ない群ほど全体の平均に引き寄せられる。群の効果を固定効果として推定すると係数は常に $1$ で、観測の少ない群の推定値が大きく揺れる。

計算を開く

群ごとに独立なので群 $i$ だけを見ればよい。$\bar y_{i\cdot}-\mu=a_i+\bar\varepsilon_{i\cdot}$ は $a_i$ と共分散 $\sigma_A^2$、分散 $\sigma_A^2+\sigma^2/n_i$ をもつ。$E[a_i\mid y]$ は群平均だけで決まり(群の中の偏差は $a_i$ と独立)、多変量正規分布 の条件付き分布の公式から $\frac{\sigma_A^2}{\sigma_A^2+\sigma^2/n_i}(\bar y_{i\cdot}-\mu)$。

使える条件と反例

各行は条件を 1 つ外し、成り立たなくなる定理の結論を示す。

外す条件反例成り立たなくなること
(iii) $E[u]=0$$y_{ij}=\beta_0+\beta_1x_i+a_i+\varepsilon_{ij}$ で、群の変量効果の平均が群の説明変数に比例する($E[a_i]=\gamma x_i$、$\gamma\ne0$)$E[\hat\beta_1]=\beta_1+\gamma$ で、$\hat\beta$ は不偏でない(thm-mem-blup の不偏性が成り立たない)
(i) $X$ の階数$X=(\mathbf 1\ \ \mathbf 1)$(同じ列が 2 つ)$X^{\mathsf T}V^{-1}X$ が特異で、$\beta_1+\beta_2$ しか定まらない。混合模型方程式の解は 1 つに決まらない(thm-mem-henderson が成り立たない)
(ii) $G,R$ が既知一元配置 $k=5$、$n=3$、$\sigma_A^2=\sigma^2=1$ で、REML 推定値を代入した予測1 群の効果の予測の 2 乗誤差は約 $0.44$ で、thm-mem-blup の誤差の式の値 $0.4$ を超える
反例の確かめを開く

1 行目:$E[y]=X\beta+Z E[u]$ で、$Z E[u]$ の成分は $\gamma x_i$。これは $X$ の列 $x$ の $\gamma$ 倍なので、$\hat\beta=(X^{\mathsf T}V^{-1}X)^{-1}X^{\mathsf T}V^{-1}y$ の期待値は $\beta+(0,\gamma)^{\mathsf T}$。群ごとの説明変数と群の効果が相関していると、変量効果のモデルは係数を偏って推定する。2 行目:$Xb$ は $b_1+b_2$ だけで決まるので、$(b,v)$ が解なら $(b+t(1,-1),v)$ も解。3 行目:$Z^{\mathsf T}PZ=\frac n\lambda\bigl(I_k-\frac1kJ_k\bigr)$ なので、$m$ を 1 つの群の単位ベクトルとすると誤差の式は $\sigma_A^2-\sigma_A^4\frac n\lambda(1-\frac1k)=1-\frac34\cdot\frac45=0.4$。模擬($4$ 万回)では、真の分散を使った BLUP の誤差は $0.399$、prop-mem-oneway の REML 推定値を代入した予測の誤差は $0.441$。推定値を代入した予測は $y$ の線形関数でないので定理の比べる範囲の外にあり、誤差の式は推定の揺れの分を含まない。

よくある誤り

誤り正しくはなぜ
同じ群の観測を独立とみなして通常の最小二乗の標準誤差を使う$V$ を入れた $\operatorname{Cov}[\hat\beta]=(X^{\mathsf T}V^{-1}X)^{-1}$ を使う群の中の相関を無視すると分散を誤る
BLUP を群平均のずれそのものとみなす係数 $w< 1$ で縮めるex-mem-lots
最尤推定の分散成分をそのまま使う群が少ないときは REML を使うprop-mem-oneway の 3
推定した分散を代入しても予測の誤差は公式どおりとみなす推定の分だけ誤差が増える反例の表の 3 行目

補足

$u$ に正規分布の事前分布を置いた Bayes のモデルと見ると、prop-mem-conditional は事後分布で、BLUP は $\beta$ を推定値に置き換えた事後平均である。分散の母数も推定して代入する方法は経験 Bayes 法にあたり、James–Stein推定量 の縮小と同じ考え方である。応答が 2 値や計数のときは、線形予測子に変量効果を入れた一般化線形混合モデルを使う(一般化線形モデル)。その尤度は $u$ についての積分を含み、閉じた形にならない。
混合模型方程式は Henderson らの仕事 HKSV59 に、REML は PT71 に由来する。最尤法と REML の関係は Har77 が、BLUP のさまざまな導き方は Rob91 がまとめている。縦断データへの応用は LW82 で広まった。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する