操作変数法(instrumental variables method)とは、回帰式の説明変数が誤差と相関して最小二乗推定量が一致しないとき、説明変数と相関し誤差と相関しない操作変数を使って係数を一致推定する方法である。操作変数推定量と二段階最小二乗推定量はモーメント条件による一般化モーメント法の特別な場合で、一致性と漸近正規性をもち、誤差の分散が一定なら二段階最小二乗は効率的である。操作変数と説明変数の相関が弱いと推定量は最小二乗の側にずれた裾の重い分布をもつ。効果が人ごとに違うときは、単調性のもとで操作変数が処置を動かす人の平均効果を推定する。
操作変数法(instrumental variables method)は、回帰式の説明変数が誤差と相関しているために最小二乗推定量が真の係数からずれてしまうとき、説明変数とは相関するが誤差とは相関しない別の変数(操作変数)を使って係数を一致推定する方法である。説明変数と結果の両方に影響する観測されない要因(交絡)、説明変数の測定誤差、需要と供給のような同時決定が典型的な原因である。推定量はモーメント条件 $E[Z(Y-X^{\mathsf T}\beta)]=0$ から作られるので、一般化モーメント法 の特別な場合である。
この記事では、最小二乗推定量が一致しないこと(prop-iv-ols-bias)を確かめたうえで、操作変数推定量と二段階最小二乗推定量を定義し、主定理として一致性と漸近正規性(thm-iv-asymptotic)を証明する。続いて、操作変数と説明変数の相関が弱いと正規近似が成り立たないこと(prop-iv-weak)、処置の効果が人ごとに違うときに操作変数の推定量が「操作変数に反応する人の平均効果」になること(thm-iv-late)、操作変数の仮定から観測される分布に課される不等式(prop-iv-inequality)を証明する。
$(Y,X,Z)$ を確率ベクトルとし、$Y\in\mathbb R$、$X\in\mathbb R^k$、$Z\in\mathbb R^\ell$($\ell\ge k$)とする。ある $\beta_0\in\mathbb R^k$ について
$$
Y=X^{\mathsf T}\beta_0+U
$$
と書く。定数項を入れるときは $X$ と $Z$ の両方の第 1 成分を $1$ にする。データ $(Y_i,X_i,Z_i)$($i=1,\dots,n$)は $(Y,X,Z)$ と同じ分布の独立な列とし、これを並べた $n$ 次のベクトルと $n\times k$、$n\times\ell$ の行列を $\mathbf Y,\mathbf X,\mathbf Z$ と書く。誤差のベクトルを $\mathbf U$ とする。
線形モデル $Y=X^{\mathsf T}\beta_0+U$ の $U$ について、$Z$ が次をみたすとき 操作変数 という。
$X$ 自身が外生的($E[XU]=0$)なら $Z=X$ が操作変数で、以下の推定量は 最小二乗法 の推定量に一致する。外生的な成分は自分自身を操作変数にでき、内生的な成分の数だけ外から操作変数を持ち込めばよい。
$Q_{XX}:=E[XX^{\mathsf T}]$ が正定値で $E\lvert X\rvert^2,E\lvert XU\rvert<\infty$ なら、最小二乗推定量 $\hat\beta_{\mathrm{OLS}}=(\mathbf X^{\mathsf T}\mathbf X)^{-1}\mathbf X^{\mathsf T}\mathbf Y$ は
$$
\hat\beta_{\mathrm{OLS}}\to\beta_0+Q_{XX}^{-1}E[XU]\qquad\text{(概収束)}
$$
をみたす。とくに $E[XU]\ne0$ なら $\beta_0$ に収束しない。
$\hat\beta_{\mathrm{OLS}}-\beta_0=(\frac1n\mathbf X^{\mathsf T}\mathbf X)^{-1}\frac1n\mathbf X^{\mathsf T}\mathbf U$ で、大数の強法則 により $\frac1n\mathbf X^{\mathsf T}\mathbf X\to Q_{XX}$、$\frac1n\mathbf X^{\mathsf T}\mathbf U\to E[XU]$。逆行列は正定値行列の近くで連続なので結論が従う。$\square$
真の説明変数 $X^*$ と $Y=\beta_0X^*+\varepsilon$ について、観測できるのが $X=X^*+e$ だけだとする。$X^*,e,\varepsilon$ は独立で平均 $0$、分散を $\sigma_*^2,\sigma_e^2,\sigma_\varepsilon^2$ とする。$Y=\beta_0X+U$、$U=\varepsilon-\beta_0e$ と書けて $E[XU]=-\beta_0\sigma_e^2$ なので、prop-iv-ols-bias から
$$
\hat\beta_{\mathrm{OLS}}\to\beta_0-\frac{\beta_0\sigma_e^2}{\sigma_*^2+\sigma_e^2}=\beta_0\frac{\sigma_*^2}{\sigma_*^2+\sigma_e^2}
$$
で、係数は $0$ の側へ縮む。$X^*$ を別の誤差 $e'$($X^*,e,\varepsilon$ と独立)で測った $Z=X^*+e'$ は $E[ZU]=0$、$E[ZX]=\sigma_*^2\ne0$ をみたす操作変数である。
$\ell=k$ で $\mathbf Z^{\mathsf T}\mathbf X$ が可逆のとき、
$$
\hat\beta_{\mathrm{IV}}:=(\mathbf Z^{\mathsf T}\mathbf X)^{-1}\mathbf Z^{\mathsf T}\mathbf Y
$$
を 操作変数推定量 という。一般の $\ell\ge k$ では、$P_Z:=\mathbf Z(\mathbf Z^{\mathsf T}\mathbf Z)^{-1}\mathbf Z^{\mathsf T}$ として
$$
\hat\beta_{\mathrm{2SLS}}:=(\mathbf X^{\mathsf T}P_Z\mathbf X)^{-1}\mathbf X^{\mathsf T}P_Z\mathbf Y
$$
を 二段階最小二乗推定量 という。
$\mathbf Z^{\mathsf T}\mathbf Z$ と $\mathbf X^{\mathsf T}P_Z\mathbf X$ が可逆とする。
$P_Z$ は対称で $P_Z^2=P_Z$ なので、$\hat{\mathbf X}^{\mathsf T}\hat{\mathbf X}=\mathbf X^{\mathsf T}P_Z\mathbf X$、$\hat{\mathbf X}^{\mathsf T}\mathbf Y=\mathbf X^{\mathsf T}P_Z\mathbf Y$ となり 1 が従う。2 では $\bar g_n(\beta)=\frac1n\mathbf Z^{\mathsf T}(\mathbf Y-\mathbf X\beta)$ で、$Q_n(\beta)=\frac1n(\mathbf Y-\mathbf X\beta)^{\mathsf T}P_Z(\mathbf Y-\mathbf X\beta)$ は $\beta$ の凸な 2 次関数である。勾配を $0$ とおくと $\mathbf X^{\mathsf T}P_Z\mathbf X\beta=\mathbf X^{\mathsf T}P_Z\mathbf Y$ で、解は $\hat\beta_{\mathrm{2SLS}}$ である。3 では $(\mathbf X^{\mathsf T}P_Z\mathbf X)^{-1}=(\mathbf Z^{\mathsf T}\mathbf X)^{-1}(\mathbf Z^{\mathsf T}\mathbf Z)(\mathbf X^{\mathsf T}\mathbf Z)^{-1}$ を代入すると $(\mathbf Z^{\mathsf T}\mathbf X)^{-1}\mathbf Z^{\mathsf T}\mathbf Y$ になる。$\square$
1 の形が名前の由来である。ただし、第 2 段の最小二乗の標準誤差の公式をそのまま使うと、残差を $\mathbf Y-\hat{\mathbf X}\hat\beta$ で計算してしまい誤る。正しい残差は $\mathbf Y-\mathbf X\hat\beta$ である。
$k=\ell=2$、$X=(1,D)$、$Z=(1,Z_1)$ のとき、$\hat\beta_{\mathrm{IV}}$ の傾きは標本共分散の比 $\widehat{\mathrm{Cov}}(Z_1,Y)/\widehat{\mathrm{Cov}}(Z_1,D)$ で、母集団での値 $\mathrm{Cov}(Z_1,Y)/\mathrm{Cov}(Z_1,D)$ は 操作変数の推定対象 と呼ばれる(Pea09 §3.5.2、式 (31)、p. 124)。$Z_1$ が $0,1$ の値をとるなら、これは
$$
\frac{E[Y\mid Z_1=1]-E[Y\mid Z_1=0]}{E[D\mid Z_1=1]-E[D\mid Z_1=0]}
$$
に等しく、標本の対応物を Wald 推定量 という($\mathrm{Cov}(Z_1,Y)=p(1-p)(E[Y\mid Z_1=1]-E[Y\mid Z_1=0])$、$p=P(Z_1=1)$ による)。
$Z$ を線形モデル $Y=X^{\mathsf T}\beta_0+U$ の操作変数とし、$E\lvert Z\rvert\lvert X\rvert<\infty$、$E\lvert Z\rvert^2<\infty$、$E[U^2\lvert Z\rvert^2]<\infty$ とする。$Q:=Q_{ZX}$、$A:=Q_{ZZ}^{-1}$、$\Omega:=E[U^2ZZ^{\mathsf T}]$ とおく。このとき $\hat\beta_{\mathrm{2SLS}}\to\beta_0$(概収束)で、
$$
\sqrt n(\hat\beta_{\mathrm{2SLS}}-\beta_0)\xrightarrow{d}\mathcal N(0,V),\qquad V:=(Q^{\mathsf T}AQ)^{-1}Q^{\mathsf T}A\,\Omega\,AQ(Q^{\mathsf T}AQ)^{-1}.
$$
とくに $E[U^2\mid Z]=\sigma^2$(定数)なら $V=\sigma^2(Q^{\mathsf T}Q_{ZZ}^{-1}Q)^{-1}$ であり、これはモーメント条件 $E[Z(Y-X^{\mathsf T}\beta)]=0$ を使う GMM 推定量の漸近分散の最小値に等しい。
モデルから $\mathbf Y=\mathbf X\beta_0+\mathbf U$ なので、
$$
\hat\beta_{\mathrm{2SLS}}-\beta_0=\Bigl(\hat Q^{\mathsf T}\hat A\hat Q\Bigr)^{-1}\hat Q^{\mathsf T}\hat A\,\frac1n\mathbf Z^{\mathsf T}\mathbf U,\qquad\hat Q:=\frac1n\mathbf Z^{\mathsf T}\mathbf X,\quad\hat A:=\Bigl(\frac1n\mathbf Z^{\mathsf T}\mathbf Z\Bigr)^{-1}
$$
である。大数の強法則 により $\hat Q\to Q$、$\frac1n\mathbf Z^{\mathsf T}\mathbf Z\to Q_{ZZ}$、$\frac1n\mathbf Z^{\mathsf T}\mathbf U\to E[ZU]=0$(概収束)。$A$ は正定値で $Q$ の階数は $k$ なので、$v\ne0$ なら $Qv\ne0$ で $v^{\mathsf T}Q^{\mathsf T}AQv>0$、すなわち $Q^{\mathsf T}AQ$ は正定値で可逆である。逆行列の連続性から一致性が従う。
次に $\frac1{\sqrt n}\mathbf Z^{\mathsf T}\mathbf U=\frac1{\sqrt n}\sum_iZ_iU_i$ は、平均 $0$、共分散行列 $\Omega$ の独立同分布の和なので、中心極限定理 により $\mathcal N(0,\Omega)$ に分布収束する。前の行列は $(Q^{\mathsf T}AQ)^{-1}Q^{\mathsf T}A$ に収束するので、Slutsky の補題から $\mathcal N(0,V)$ への分布収束が従う。
$E[U^2\mid Z]=\sigma^2$ なら $\Omega=E[E[U^2\mid Z]ZZ^{\mathsf T}]=\sigma^2Q_{ZZ}$ で、$AQ_{ZZ}A=A$ から $V=\sigma^2(Q^{\mathsf T}AQ)^{-1}$。モーメント条件 $g=z(y-x^{\mathsf T}\beta)$ では $G=E\,\partial_\beta g=-Q$、$S=\Omega=\sigma^2Q_{ZZ}$ なので、一般化モーメント法 の定理「最適な重みは $S^{-1}$」の下限 $(G^{\mathsf T}S^{-1}G)^{-1}$ は $\sigma^2(Q^{\mathsf T}Q_{ZZ}^{-1}Q)^{-1}=V$ に等しい。$\square$
$E[U^2\mid Z]$ が一定でないときは、二段階最小二乗推定量は一般に効率的でなく、残差から $\hat\Omega=\frac1n\sum_i\hat U_i^2Z_iZ_i^{\mathsf T}$($\hat U_i=Y_i-X_i^{\mathsf T}\hat\beta_{\mathrm{2SLS}}$)を作り重み $\hat\Omega^{-1}$ で GMM 推定をやり直すと漸近分散が下がる。$\ell>k$ なら、一般化モーメント法 の $J$ 検定で、余分な $\ell-k$ 個の操作変数の外生性を検定できる。
関連性は「$Q_{ZX}$ の階数が $k$」という定性的な条件だが、相関が小さいと漸近正規性による近似は標本が大きくても悪い。Staiger と Stock SS97 は、相関を $1/\sqrt n$ の大きさで $0$ に近づける見方で、この現象を極限定理として捉えた。最も簡単な場合を証明する。
$k=\ell=1$ で定数項はないとする。$(Z,U,V)$ は $Z$ と $(U,V)$ が独立で、$EZ^2=:q>0$、$EU=EV=0$、$(U,V)$ の共分散行列を $\Sigma=\begin{pmatrix}\sigma_U^2&\sigma_{UV}\\\sigma_{UV}&\sigma_V^2\end{pmatrix}$($\sigma_U>0$、$\sigma_V>0$)とし、$(Z_i,U_i,V_i)$ を $(Z,U,V)$ の独立な複製とする。$c\in\mathbb R$ を $n$ によらず固定して、標本の大きさ $n$ ごとに
$$
X_i=\frac c{\sqrt n}Z_i+V_i,\qquad Y_i=\beta_0X_i+U_i\qquad(i=1,\dots,n)
$$
とおく。このとき $(\xi_U,\xi_V)\sim\mathcal N(0,q\Sigma)$ について
$$
\hat\beta_{\mathrm{IV}}-\beta_0\xrightarrow{d}\frac{\xi_U}{cq+\xi_V}.
$$
とくに極限は $0$ に退化せず、$\hat\beta_{\mathrm{IV}}$ は一致しない。$c=0$ では極限は $\sigma_{UV}/\sigma_V^2+\eta/\xi_V$($\eta$ は $\xi_V$ と独立な平均 $0$ の正規変数)と書け、$\sigma_{UV}/\sigma_V^2$ は同じモデルで最小二乗推定量が収束する先のずれ $Q_{XX}^{-1}E[XU]$ に等しい。
$\hat\beta_{\mathrm{IV}}-\beta_0=\dfrac{n^{-1/2}\sum_iZ_iU_i}{n^{-1/2}\sum_iZ_iX_i}$ で、分母は $\frac cn\sum_iZ_i^2+n^{-1/2}\sum_iZ_iV_i$ である。$(Z_iU_i,Z_iV_i)$ は $n$ によらない独立同分布の列で、独立性から平均 $0$、共分散行列 $E[Z^2]\Sigma=q\Sigma$ をもつ。中心極限定理 により $n^{-1/2}\sum_i(Z_iU_i,Z_iV_i)\xrightarrow{d}(\xi_U,\xi_V)$、大数の強法則 により $\frac1n\sum Z_i^2\to q$ なので、Slutsky の補題から分子と分母は同時に $(\xi_U,cq+\xi_V)$ に分布収束する。$\xi_V$ の分散 $q\sigma_V^2$ は正なので分母の極限が $0$ になる確率は $0$ で、商は連続写像で保たれる。
$c=0$ のとき、$\eta:=\xi_U-(\sigma_{UV}/\sigma_V^2)\xi_V$ は $\xi_V$ と無相関な正規変数なので独立で、$\xi_U/\xi_V=\sigma_{UV}/\sigma_V^2+\eta/\xi_V$。最小二乗では $X=V$ なので $Q_{XX}^{-1}E[XU]=\sigma_{UV}/\sigma_V^2$ である。$\square$
$\eta$ が退化しなければ $\eta/\xi_V$ は原点について対称な Cauchy分布 で(正規変数の独立な比)、平均をもたない。従って相関が弱いと、操作変数推定量は最小二乗推定量と同じ向きにずれたところを中心に、裾の重い分布をもつ。第 1 段の回帰の $F$ 統計量で相関の強さを確かめるのはこのためである。
線形モデル $Y=X^{\mathsf T}\beta_0+U$ は全員の効果が $\beta_0$ で等しいと仮定している。処置 $D\in\{0,1\}$ と操作変数 $Z\in\{0,1\}$ がともに 2 値で、効果が人ごとに違う場合を、因果推論 の潜在結果の記法で考える。各人は 4 つの値 $D(0),D(1)\in\{0,1\}$(操作変数が $z$ のときに受ける処置)と $Y(0),Y(1)$(処置 $d$ を受けたときの結果)をもち、観測されるのは $Z$、$D=D(Z)$、$Y=Y(D)$ である。$Y$ が $Z$ に処置を通してしか依らないことを $Y=Y(D)$ と書くこと自体が、除外制約 を表している。
$D(1)>D(0)$ の人を 遵守者、$D(1)< D(0)$ の人を 反抗者 という。
次を仮定する。
$Y=Y(0)+D\,(Y(1)-Y(0))$ と独立性から
$$
E[Y\mid Z=z]=E\bigl[Y(0)+D(z)(Y(1)-Y(0))\bigr]\qquad(z=0,1)
$$
なので、分子は $E[(D(1)-D(0))(Y(1)-Y(0))]$ である。単調性から $D(1)-D(0)$ は $0$ か $1$ で、$1$ になるのは遵守者のときに限る。従って分子は $E[(Y(1)-Y(0))\mathbf 1\{D(1)>D(0)\}]$ に等しい。同じく分母は $E[D(1)-D(0)]=P(D(1)>D(0))>0$ である。比は条件付き期待値の定義そのものである。$\square$
推定されるのは、操作変数が処置を動かす人(遵守者)の平均効果で、操作変数によらず処置を受ける人や受けない人の効果は含まれない。遵守者が誰かは観測できない($D(0)$ と $D(1)$ の一方しか見えない)ので、どの集団の効果かは操作変数の選び方に依る。
操作変数の仮定は一般には検証できないが、変数が離散的なら観測される分布に不等式を課す。
thm-iv-late の記法で、$Y$ も有限個の値をとるとし、$(Y(0),Y(1),D(0),D(1))$ が $Z$ と独立とする(単調性は仮定しない)。このとき各 $d$ について
$$
\sum_y\max_zP(Y=y,D=d\mid Z=z)\le1.
$$
とくにすべてが 2 値なら、$y\ne y'$、$z\ne z'$ について $P(Y=y,D=d\mid Z=z)+P(Y=y',D=d\mid Z=z')\le1$ である。
独立性から $P(Y=y,D=d\mid Z=z)=P(Y(d)=y,\ D(z)=d)\le P(Y(d)=y)$ である。$y$ について和をとると、右辺の和は $1$ である。$\square$
この不等式は Pearl が「操作変数の不等式」と呼んだもので、2 値の場合の 4 つの不等式が Pea09 §3.5.4(式 (34)・(35)、pp. 125–126)にある。成り立たなければ、$Z$ が処置を通さずに $Y$ に影響するか、$Z$ と結果に共通の要因がある。例えば $P(Y=1,D=0\mid Z=0)=0.6$、$P(Y=0,D=0\mid Z=1)=0.5$ なら和は $1.1>1$ で、$Z$ は操作変数でない。
人口が次の 3 つの型からなるとする($Z$ は型と独立)。遵守者 $30\%$ は効果 $Y(1)-Y(0)=1$、反抗者 $20\%$ は効果 $3$、残り $50\%$ は $D(0)=D(1)=0$ で効果は任意の正の値とする。prf-iv-late の計算は単調性を使わずに分子が $E[(D(1)-D(0))(Y(1)-Y(0))]$ であることを示しているので、分子は $0.3\cdot1-0.2\cdot3=-0.3$、分母は $0.3-0.2=0.1$ で、比は $-3$ になる。全員の効果が正なのに比は負であり、thm-iv-late の単調性は外せない。
$k=\ell=1$、$X=\pi Z+V$($\pi\ne0$)、$Y=\beta_0X+\gamma Z+U$ とし、$Z$ は $(U,V)$ と独立で $EZ^2=q>0$、$EU=EV=0$ とする。$Z$ は $X$ と相関するが $Y$ に直接影響する。$\frac1n\sum Z_iY_i=\beta_0\frac1n\sum Z_iX_i+\gamma\frac1n\sum Z_i^2+\frac1n\sum Z_iU_i$ と 大数の強法則 から
$$
\hat\beta_{\mathrm{IV}}\to\beta_0+\frac{\gamma q}{E[ZX]}=\beta_0+\frac\gamma\pi.
$$
ずれは $\pi$ が小さいほど大きく、弱い操作変数は除外制約からの小さなずれも拡大する。
$n=4$、$\mathbf Z=(1,1,0,0)^{\mathsf T}$、$\mathbf X=(2,1,1,0)^{\mathsf T}$、$\mathbf Y=(5,3,2,0)^{\mathsf T}$(定数項なし、$k=\ell=1$)とする。$\mathbf Z^{\mathsf T}\mathbf X=3$、$\mathbf Z^{\mathsf T}\mathbf Y=8$ なので $\hat\beta_{\mathrm{IV}}=8/3$。第 1 段の当てはめ値は $\hat{\mathbf X}=P_Z\mathbf X=(\frac32,\frac32,0,0)^{\mathsf T}$ で、$\mathbf Y$ を $\hat{\mathbf X}$ に回帰した係数は $\frac{\hat{\mathbf X}^{\mathsf T}\mathbf Y}{\hat{\mathbf X}^{\mathsf T}\hat{\mathbf X}}=\frac{12}{9/2}=\frac83$ で一致する(prop-iv-2sls)。最小二乗推定量は $\frac{\mathbf X^{\mathsf T}\mathbf Y}{\mathbf X^{\mathsf T}\mathbf X}=\frac{15}6=\frac52$ である。
| 主張 | 反例 | 満たされない条件 |
|---|---|---|
| 説明変数が誤差と相関しても最小二乗推定量は一致する | ex-iv-measurement | $E[XU]=0$ |
| $X$ と相関する変数なら操作変数推定量は一致する | ex-iv-exclusion | 外生性(除外制約) |
| 関連性があれば操作変数推定量の正規近似はよい | prop-iv-weak($c=0$ で Cauchy 型の極限) | 相関が $n$ によらず $0$ から離れていること |
| Wald 推定量は効果の平均の符号を正しく表す | ex-iv-defiers | 単調性 |
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する