因子分析

同義語:factor analysis

概要

因子分析(factor analysis)とは、観測変数の相関を少数の共通因子で説明する方法で、確率変数のベクトルを $\boldsymbol X=\mu+\Lambda\boldsymbol F+\boldsymbol\varepsilon$(因子は無相関で分散 $1$、独自因子は無相関)と表し、共分散行列を $\Sigma=\Lambda\Lambda^{\mathsf T}+\Psi$($\Psi$ は対角)に分ける。因子負荷行列 $\Lambda$ は直交行列 $R$ を掛けた $\Lambda R$ との違いを除いてしか決まらないが、どの行を除いても残りから正則な $q$ 行の組を互いに素に 2 つ選べるなら、$\Psi$ と $\Lambda\Lambda^{\mathsf T}$ は $\Sigma$ から一意に決まる。主成分分析とは独自分散を分ける点で異なる。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 共分散行列, 直交行列, 主成分分析, 多変量正規分布

国語・英語・数学・理科の 4 つの試験の点数は、どの 2 つをとっても正の相関をもつことが多い。「4 つの点数は、共通の 1 つの見えない量(学力の因子)と、試験ごとの固有のばらつきの和である」と考えると、相関行列の 6 つの成分を 4 つの係数で説明できる。このように、多くの観測変数の相関を少数の見えない 共通因子 で説明するのが 因子分析 である。
因子分析では、共分散行列が「低い階数の行列」と「対角行列」の和 $\Sigma=\Lambda\Lambda^{\mathsf T}+\Psi$ に分かれると仮定する。この記事では、この分解が因子の回転を除いて一意に決まるための十分条件(主定理)と、回転の不定性が避けられないことを証明する。1 因子の場合の 3 つ組の公式、因子得点、主成分分析 との違いを例題で計算し、負の独自分散(Heywood の場合)などの反例を示す。

定義と使える条件

$\boldsymbol X=(X_1,\dots,X_p)^{\mathsf T}$ を各成分の分散が有限な確率変数のベクトル、$\mu=E[\boldsymbol X]$、$\Sigma=\operatorname{Cov}(\boldsymbol X)$ とする。$q< p$ とし、$I_q$ を $q$ 次の単位行列と書く。

因子分析モデル

$p\times q$ の実行列 $\Lambda=(\lambda_{ik})$ と、$q$ 次元の確率変数のベクトル $\boldsymbol F$、$p$ 次元の確率変数のベクトル $\boldsymbol\varepsilon$ によって
$$ \boldsymbol X=\mu+\Lambda\boldsymbol F+\boldsymbol\varepsilon $$
と書け、次の (i)–(iii) が成り立つとき、$\boldsymbol X$ は $q$ 因子の 因子分析モデル(直交因子モデル)に従うという。

  • (i) $E[\boldsymbol F]=0$、$\operatorname{Cov}(\boldsymbol F)=I_q$。
  • (ii) $E[\boldsymbol\varepsilon]=0$、$\operatorname{Cov}(\boldsymbol\varepsilon)=\Psi=\operatorname{diag}(\psi_1,\dots,\psi_p)$(対角行列)。
  • (iii) $\boldsymbol F$ と $\boldsymbol\varepsilon$ の各成分は無相関:$E[\boldsymbol F\boldsymbol\varepsilon^{\mathsf T}]=0$。
    $F_k$ を 共通因子、$\varepsilon_i$ を 独自因子、$\Lambda$ を 因子負荷行列、$\lambda_{ik}$ を 因子負荷量 という。$h_i^2:=\sum_k\lambda_{ik}^2$ を変数 $X_i$ の 共通性、$\psi_i$ を 独自分散 という。$\boldsymbol F$ と $\boldsymbol\varepsilon$ が同時に正規分布に従うものを 正規因子分析モデル という。

正規因子分析モデルでは、無相関の成分は独立である(多変量正規分布 の定理「無相関なら独立」)。データから因子分析を行うときは、標本共分散行列 $S$(または標本相関行列)を $\Lambda\Lambda^{\mathsf T}+\Psi$ の形で近似する $\Lambda,\Psi$ を求める。
因子分析を使ってよい条件と、主定理の仮定は次のとおりである。

  • (a) 独自因子が無相関:$\Psi$ が対角行列である。これがないと $\Lambda=0$、$\Psi=\Sigma$ とすれば何でも表せ、モデルは意味を失う。
  • (b) 独自分散が非負:$\psi_i\ge0$。分散なので負にはなれない。推定で負の値が必要になることがあり、これを Heywood の場合 という(ex-fa-heywood)。
  • (c) 識別の条件:$\Lambda$ の行が十分に多い(thm-fa-identify の行を消す条件。この条件には $p\ge2q+1$ が要る)。
  • (d) 回転の不定性を受け入れる:$\Lambda$ は直交行列 $R$ による $\Lambda R$ との違いを除いてしか決まらない(prop-fa-rotation)。因子の名前付けは回転の選び方に依存する。

公式の表

量公式条件根拠
共分散の構造$\Sigma=\Lambda\Lambda^{\mathsf T}+\Psi$、$\operatorname{Cov}(\boldsymbol X,\boldsymbol F)=\Lambda$(i)–(iii)prop-fa-cov
分散の分解$\sigma_{ii}=h_i^2+\psi_i$、$i\ne j$ なら $\sigma_{ij}=\sum_k\lambda_{ik}\lambda_{jk}$(i)–(iii)prop-fa-cov
回転$(\Lambda,\boldsymbol F)\mapsto(\Lambda R,R^{\mathsf T}\boldsymbol F)$ でモデルは不変$R$ は $q$ 次の直交行列prop-fa-rotation
1 因子の 3 つ組$\lambda_i^2=\dfrac{\sigma_{ij}\sigma_{ik}}{\sigma_{jk}}$$q=1$、$i,j,k$ は相異なり $\lambda_j\lambda_k\ne0$cor-fa-one-factor
1 因子の 4 つ組$\sigma_{12}\sigma_{34}=\sigma_{13}\sigma_{24}=\sigma_{14}\sigma_{23}$$q=1$どれも $\lambda_1\lambda_2\lambda_3\lambda_4$
単位の変換$\boldsymbol X'=D\boldsymbol X$ なら $\Lambda'=D\Lambda$、$\Psi'=D\Psi D$$D$ は正の対角行列$\boldsymbol X'=D\mu+(D\Lambda)\boldsymbol F+D\boldsymbol\varepsilon$
因子得点(回帰法)$\hat{\boldsymbol F}=(I_q+\Lambda^{\mathsf T}\Psi^{-1}\Lambda)^{-1}\Lambda^{\mathsf T}\Psi^{-1}(\boldsymbol X-\mu)$$\psi_i>0$prop-fa-score
自由度$d=\dfrac{(p-q)^2-(p+q)}2$—下の注意
最尤法の不一致度$\log\det\Sigma+\operatorname{tr}(S\Sigma^{-1})-\log\det S-p\ \ (\ge0)$正規、$S$ は正定値下の畳んだ計算
自由度と不一致度の計算を開く

自由度:$\Sigma$ の独立な成分は $p(p+1)/2$ 個、母数は $\Lambda$ の $pq$ 個と $\Psi$ の $p$ 個だが、回転($q$ 次の直交行列の全体は $q(q-1)/2$ 次元)の分だけ重複するので、差は $\frac{p(p+1)}2-pq-p+\frac{q(q-1)}2=\frac{(p-q)^2-(p+q)}2$。これは方程式と未知数の数の比較であり、$d\ge0$ は識別の証明ではない。不一致度:正規分布の $n$ 個のデータの対数尤度を $\mu$ について最大にすると $-\frac n2(\log\det\Sigma+\operatorname{tr}(S\Sigma^{-1}))$ に定数を足したものになる($S$ は $n$ で割った標本共分散行列)。$A=\Sigma^{-1/2}S\Sigma^{-1/2}$ の固有値を $a_1,\dots,a_p>0$ とすると不一致度は $\sum_i(a_i-\log a_i-1)$ で、$a-\log a-1\ge0$(等号は $a=1$)から $0$ 以上、$0$ になるのは $\Sigma=S$ のときに限る。$\square$

主定理と証明

共分散の構造

$\boldsymbol X$ が def-fa-model のモデルに従うなら、$\Sigma=\Lambda\Lambda^{\mathsf T}+\Psi$ かつ $\operatorname{Cov}(\boldsymbol X,\boldsymbol F)=E[(\boldsymbol X-\mu)\boldsymbol F^{\mathsf T}]=\Lambda$ である。

証明を開く

$\boldsymbol X-\mu=\Lambda\boldsymbol F+\boldsymbol\varepsilon$ だから、(i)–(iii) により $E[(\boldsymbol X-\mu)(\boldsymbol X-\mu)^{\mathsf T}]=\Lambda E[\boldsymbol F\boldsymbol F^{\mathsf T}]\Lambda^{\mathsf T}+\Lambda E[\boldsymbol F\boldsymbol\varepsilon^{\mathsf T}]+E[\boldsymbol\varepsilon\boldsymbol F^{\mathsf T}]\Lambda^{\mathsf T}+E[\boldsymbol\varepsilon\boldsymbol\varepsilon^{\mathsf T}]=\Lambda\Lambda^{\mathsf T}+\Psi$。同様に $E[(\boldsymbol X-\mu)\boldsymbol F^{\mathsf T}]=\Lambda E[\boldsymbol F\boldsymbol F^{\mathsf T}]+E[\boldsymbol\varepsilon\boldsymbol F^{\mathsf T}]=\Lambda$。$\square$

回転の不定性
  1. $R$ が $q$ 次の直交行列なら、$(\Lambda R,R^{\mathsf T}\boldsymbol F,\boldsymbol\varepsilon)$ も def-fa-model の (i)–(iii) を満たし、同じ $\boldsymbol X$ を与える。
  2. 逆に、$\Lambda,M$ が階数 $q$ の $p\times q$ 行列で $\Lambda\Lambda^{\mathsf T}=MM^{\mathsf T}$ なら、$M=\Lambda R$ となる直交行列 $R$ がただ 1 つある。
  1. $(\Lambda R)(R^{\mathsf T}\boldsymbol F)=\Lambda\boldsymbol F$ で、$\operatorname{Cov}(R^{\mathsf T}\boldsymbol F)=R^{\mathsf T}I_qR=I_q$、$E[R^{\mathsf T}\boldsymbol F\boldsymbol\varepsilon^{\mathsf T}]=0$ である。
  2. 対称行列 $\Lambda\Lambda^{\mathsf T}$ について、$\Lambda\Lambda^{\mathsf T}u=0$ なら $\|\Lambda^{\mathsf T}u\|^2=u^{\mathsf T}\Lambda\Lambda^{\mathsf T}u=0$ だから、$\Lambda\Lambda^{\mathsf T}$ と $\Lambda^{\mathsf T}$ の核は等しい。像は核の直交補空間なので、$\Lambda\Lambda^{\mathsf T}$ の像は $\Lambda$ の列空間に等しい。$M$ についても同じだから、$\Lambda$ と $M$ の列空間は一致する。$\Lambda$ の階数は $q$ なので $\Lambda^{\mathsf T}\Lambda$ は正則で、$\Lambda^+:=(\Lambda^{\mathsf T}\Lambda)^{-1}\Lambda^{\mathsf T}$ とすると $\Lambda\Lambda^+$ は $\Lambda$ の列空間の上で恒等写像である。$M$ の各列はこの空間にあるので $M=\Lambda\Lambda^+M=\Lambda R$($R:=\Lambda^+M$)。$\Lambda\Lambda^{\mathsf T}=\Lambda RR^{\mathsf T}\Lambda^{\mathsf T}$ の左から $\Lambda^+$、右から $(\Lambda^+)^{\mathsf T}$ を掛けると、$\Lambda^+\Lambda=I_q$ から $I_q=RR^{\mathsf T}$ を得る。$M=\Lambda R$ を満たす $R$ は $\Lambda^+$ を左から掛けて $R=\Lambda^+M$ に限る。$\square$

したがって、どんなデータからも $\Lambda$ は回転の違いを除いてしか決まらない。決められるのは $\Lambda\Lambda^{\mathsf T}$ と $\Psi$ である。次の主定理は、それらが $\Sigma$ から一意に決まる十分条件を与える。$\Lambda$ の第 $i$ 行を $\Lambda_i$($1\times q$)、行の番号の集合 $J$ について $J$ の行を並べた行列を $\Lambda_J$、$\Sigma$ の行 $I$・列 $J$ の小行列を $\Sigma_{IJ}$ と書く。

因子分析の識別性

$\Sigma=\Lambda\Lambda^{\mathsf T}+\Psi$($\Lambda$ は $p\times q$、$\Psi$ は対角)とし、次の 行を消す条件 を仮定する:各 $i=1,\dots,p$ について、$i$ を含まない互いに素な $J_1,J_2\subset\{1,\dots,p\}$($\lvert J_1\rvert=\lvert J_2\rvert=q$)で、$\Lambda_{J_1}$ と $\Lambda_{J_2}$ がともに正則なものがある。
このとき、$\Sigma=MM^{\mathsf T}+\Psi'$($M$ は $p\times q$、$\Psi'$ は対角)と書ける任意の組について、$\Psi'=\Psi$ であり、$M=\Lambda R$ となる直交行列 $R$ がある。さらに $\Lambda\Lambda^{\mathsf T}$ の対角成分は
$$ (\Lambda\Lambda^{\mathsf T})_{ii}=\Sigma_{\{i\}J_1}\,\Sigma_{J_2J_1}^{-1}\,\Sigma_{J_2\{i\}} $$
で与えられる。

対角成分を非対角成分から作る

段 1(非対角成分):$\Psi,\Psi'$ は対角なので、$i\ne j$ なら $\sigma_{ij}=(\Lambda\Lambda^{\mathsf T})_{ij}=(MM^{\mathsf T})_{ij}$ である。
段 2(対角成分):$i$ を固定し、仮定の $J_1,J_2$ をとる。$J_1\cap J_2=\emptyset$ なので $\Sigma_{J_2J_1}$ は非対角成分だけからなり、段 1 から
$$ \Sigma_{J_2J_1}=\Lambda_{J_2}\Lambda_{J_1}^{\mathsf T}=M_{J_2}M_{J_1}^{\mathsf T} $$
である。左辺は正則行列 2 つの積なので正則で、$q$ 次の正方行列の積 $M_{J_2}M_{J_1}^{\mathsf T}$ が正則だから $M_{J_1},M_{J_2}$ も正則である。$i\notin J_1\cup J_2$ なので、同じく $\Sigma_{\{i\}J_1}=\Lambda_i\Lambda_{J_1}^{\mathsf T}=M_iM_{J_1}^{\mathsf T}$、$\Sigma_{J_2\{i\}}=\Lambda_{J_2}\Lambda_i^{\mathsf T}=M_{J_2}M_i^{\mathsf T}$ である。よって
$$ \Sigma_{\{i\}J_1}\Sigma_{J_2J_1}^{-1}\Sigma_{J_2\{i\}} =\Lambda_i\Lambda_{J_1}^{\mathsf T}(\Lambda_{J_1}^{\mathsf T})^{-1}\Lambda_{J_2}^{-1}\Lambda_{J_2}\Lambda_i^{\mathsf T} =\Lambda_i\Lambda_i^{\mathsf T}=(\Lambda\Lambda^{\mathsf T})_{ii} $$
で、同じ計算を $M$ で行うと($M_{J_1},M_{J_2}$ は正則)左辺は $(MM^{\mathsf T})_{ii}$ にも等しい。これで対角の公式と $(\Lambda\Lambda^{\mathsf T})_{ii}=(MM^{\mathsf T})_{ii}$ が示された。
段 3(まとめ):段 1・2 から $\Lambda\Lambda^{\mathsf T}=MM^{\mathsf T}$ で、$\Psi'=\Sigma-MM^{\mathsf T}=\Sigma-\Lambda\Lambda^{\mathsf T}=\Psi$。$\Lambda_{J_1}$ は正則なので $\Lambda$ の階数は $q$、段 2 から $M$ の階数も $q$ である。prop-fa-rotation の (2) により $M=\Lambda R$ となる直交行列 $R$ がある。$\square$

行を消す条件では、$i$ 以外の行から $q$ 行ずつ 2 組とるので $p-1\ge2q$、すなわち $p\ge2q+1$ が必要である。各変数が 1 つの因子だけに負荷をもつ 単純構造 の $\Lambda$ では、どの因子にも 0 でない負荷をもつ変数が 3 つ以上あれば条件が成り立つ。

1 因子の 3 つ組の公式

$q=1$ で、$\Lambda=(\lambda_1,\dots,\lambda_p)^{\mathsf T}$ のうち 0 でないものが 3 つ以上あるとする。このとき $\Psi$ と $\lambda_i$(全体の符号を除く)は $\Sigma$ から一意に決まり、相異なる $i,j,k$ で $\lambda_j\lambda_k\ne0$ なら $\lambda_i^2=\sigma_{ij}\sigma_{ik}/\sigma_{jk}$ である。

$q=1$ では $\Lambda_J$ は $1\times1$ で、正則とは $\lambda_j\ne0$ のことである。0 でない負荷が 3 つ以上あれば、どの $i$ を除いても 0 でない負荷が 2 つ以上残るので、行を消す条件が成り立つ。thm-fa-identify で $J_1=\{j\}$、$J_2=\{k\}$ とすれば対角の公式は $\lambda_i^2=\sigma_{ij}\sigma_{kj}^{-1}\sigma_{ki}$ で、1 次の直交行列は $\pm1$ である。$\square$

因子得点

回帰法の因子得点

$\Psi$ が正則(すべての $\psi_i>0$)とする。$q\times p$ 行列 $B$ のうちで $E\|\boldsymbol F-B(\boldsymbol X-\mu)\|^2$ を最小にするものはただ 1 つで
$$ B^*=\Lambda^{\mathsf T}\Sigma^{-1}=(I_q+\Lambda^{\mathsf T}\Psi^{-1}\Lambda)^{-1}\Lambda^{\mathsf T}\Psi^{-1} $$
である。正規因子分析モデルでは $E[\boldsymbol F\mid\boldsymbol X]=B^*(\boldsymbol X-\mu)$ である。

証明を開く

$\Sigma=\Lambda\Lambda^{\mathsf T}+\Psi$ は正定値で正則である。$\boldsymbol Y=\boldsymbol X-\mu$ とすると prop-fa-cov から $E[\boldsymbol F\boldsymbol Y^{\mathsf T}]=\Lambda^{\mathsf T}$ で、$C:=\Lambda^{\mathsf T}\Sigma^{-1}$ とおくと $E\|\boldsymbol F-B\boldsymbol Y\|^2=\operatorname{tr}(I_q-B\Lambda-\Lambda^{\mathsf T}B^{\mathsf T}+B\Sigma B^{\mathsf T})=\operatorname{tr}\bigl((B-C)\Sigma(B-C)^{\mathsf T}\bigr)+\operatorname{tr}(I_q-C\Lambda)$。第 1 項は $0$ 以上で、$\Sigma$ が正定値なので $0$ になるのは $B=C$ のときに限る。また $(I_q+\Lambda^{\mathsf T}\Psi^{-1}\Lambda)\Lambda^{\mathsf T}=\Lambda^{\mathsf T}\Psi^{-1}(\Psi+\Lambda\Lambda^{\mathsf T})=\Lambda^{\mathsf T}\Psi^{-1}\Sigma$ の両辺に左から $(I_q+\Lambda^{\mathsf T}\Psi^{-1}\Lambda)^{-1}$、右から $\Sigma^{-1}$ を掛けると 2 つ目の等号を得る($I_q+\Lambda^{\mathsf T}\Psi^{-1}\Lambda$ は正定値で正則)。正規の場合は $(\boldsymbol F,\boldsymbol X)$ が同時に正規分布に従うので、多変量正規分布 の定理「条件付き分布」により $E[\boldsymbol F\mid\boldsymbol X]=\Lambda^{\mathsf T}\Sigma^{-1}(\boldsymbol X-\mu)$。$\square$

2 つ目の表し方では、逆行列をとるのが $p$ 次でなく $q$ 次の行列で済む。

計算の手順

  1. 尺度をそろえる:単位の違う変数は標準化し、標本相関行列 $P$ を使う(回転の行列 $R$ と区別する)。単位の変換で $\Lambda$ は $D\Lambda$ に変わるだけなので(公式の表)、標準化しても因子の構造は保たれる。
  2. 因子数 $q$ を選ぶ:自由度 $d$ が $0$ 以上になる $q$ から始め、当てはまりと解釈のしやすさで決める。行を消す条件が成り立ちそうか(各因子に 3 つ以上の変数がつくか)を見る。
  3. 推定する:最尤法(公式の表の不一致度を $\psi_i\ge0$ のもとで最小にする)か、主因子法($P$ の対角を共通性の推定値に替えて固有分解を繰り返す)。最尤法の反復には EMアルゴリズム も使える。
  4. 境界を確かめる:$\psi_i$ が $0$ に張り付いたら Heywood の場合を疑い、因子数や変数を見直す(ex-fa-heywood)。
  5. 回転する:解釈しやすい $\Lambda R$ を選ぶ。よく使う varimax 基準 は、$\Lambda R=(\lambda^*_{ik})$ の各列について $\lambda^{*2}_{ik}$ の $i$ に関する分散を求めて足した量 $V=\sum_k\bigl(\frac1p\sum_i\lambda^{*4}_{ik}-(\frac1p\sum_i\lambda^{*2}_{ik})^2\bigr)$ を最大にする(ex-fa-rotation)。
  6. 得点を求める:必要なら prop-fa-score の $B^*$ で各個体の因子得点を計算する。

例題

1 因子の 4 つの試験

4 つの試験の点数の相関行列が、非対角成分 $r_{12}=0.72$、$r_{13}=0.63$、$r_{14}=0.54$、$r_{23}=0.56$、$r_{24}=0.48$、$r_{34}=0.42$ である。1 因子モデルの因子負荷量(正にとる)と独自分散、回帰法の因子得点の重みを求める。使う公式:cor-fa-one-factor、prop-fa-score。
答え:$\lambda=(0.9,0.8,0.7,0.6)$、$\psi=(0.19,0.36,0.51,0.64)$。4 つ組の条件 $r_{12}r_{34}=r_{13}r_{24}=r_{14}r_{23}=0.3024$ も成り立つ。因子得点は $\hat F\approx0.55310z_1+0.25948z_2+0.16027z_3+0.10947z_4$($z_i$ は標準化した点数)で、$z=(1,0.5,0,-0.5)$ なら $\hat F\approx0.62810$。

途中の計算を開く

$\lambda_1^2=r_{12}r_{13}/r_{23}=0.72\cdot0.63/0.56=0.81$、$\lambda_2^2=r_{12}r_{23}/r_{13}=0.64$、$\lambda_3^2=r_{13}r_{23}/r_{12}=0.49$、$\lambda_4^2=r_{14}r_{24}/r_{12}=0.36$。標準化しているので $\psi_i=1-\lambda_i^2$。$s:=\Lambda^{\mathsf T}\Psi^{-1}\Lambda=\sum_i\lambda_i^2/\psi_i=\frac{0.81}{0.19}+\frac{0.64}{0.36}+\frac{0.49}{0.51}+\frac{0.36}{0.64}\approx7.56422$ で、重みは $\frac{\lambda_i/\psi_i}{1+s}$。相関行列 $P$ について $\Lambda^{\mathsf T}P^{-1}$ を直接計算した値と一致する。得点の分散は $\Lambda^{\mathsf T}P^{-1}\Lambda=s/(1+s)\approx0.88324$ で、$1$ より小さい(因子を完全には復元できない)。

2 因子の回転

6 つの変数の因子負荷行列を、行ごとに $(0.8,0)$、$(0.7,0)$、$(0.6,0)$、$(0,0.7)$、$(0,0.6)$、$(0,0.5)$ とする(独自分散は $\psi_i=1-h_i^2$)。$30^\circ$ の回転 $R=\begin{pmatrix}\cos30^\circ&-\sin30^\circ\\ \sin30^\circ&\cos30^\circ\end{pmatrix}$ を施した $\Lambda R$ と、varimax 基準の値を比べる。使う公式:prop-fa-rotation、thm-fa-identify。
答え:$\Lambda R$ の行は $(0.69282,-0.4)$、$(0.60622,-0.35)$、$(0.51962,-0.3)$、$(0.35,0.60622)$、$(0.3,0.51962)$、$(0.25,0.43301)$ で、$\Lambda R(\Lambda R)^{\mathsf T}=\Lambda\Lambda^{\mathsf T}$、共通性 $(0.64,0.49,0.36,0.49,0.36,0.25)$ も変わらない。データからは区別できないが、varimax 基準は $\Lambda$ で $V\approx0.10664$、$\Lambda R$ で $V\approx0.03250$ で、各変数が一方の因子だけに負荷をもつ $\Lambda$ の方が大きい。

途中の計算を開く

どの行を消しても、第 1 因子の行と第 2 因子の行が少なくとも 2 つずつ残るので、「第 1 因子の行 1 つと第 2 因子の行 1 つ」の正則な組を互いに素に 2 つ作れる。よって行を消す条件が成り立ち、$\Psi$ と $\Lambda\Lambda^{\mathsf T}$ は一意である。例えば $i=1$、$J_1=\{2,4\}$、$J_2=\{3,5\}$ で $\Sigma_{\{1\}J_1}\Sigma_{J_2J_1}^{-1}\Sigma_{J_2\{1\}}=0.64=h_1^2$。$V$ は各列の $\lambda^{*2}_{ik}$ の平均と 2 乗の平均から計算する。

図: 左は例題 ex-fa-rotation の 6 つの変数の因子負荷量を平面上の点で描いたもので、点は 2 本の座標軸の上に並ぶ。右は同じ点を 30 度回転した座標で描いたもので、点が軸から離れ、どちらの因子にも負荷をもつように見える。 図: 左は例題 ex-fa-rotation の 6 つの変数の因子負荷量を平面上の点で描いたもので、点は 2 本の座標軸の上に並ぶ。右は同じ点を 30 度回転した座標で描いたもので、点が軸から離れ、どちらの因子にも負荷をもつように見える。

主成分分析との違い

$X_1,X_2,X_3$ が共通の因子 $F$ と分散 $1$ の独自因子の和 $X_i=F+\varepsilon_i$ で、$X_4$ はこれらと無相関で分散 $10$ とする。共分散行列 $\Sigma$ の第 1 主成分と、1 因子モデルの解を比べる。使う公式:cor-fa-one-factor、主成分分析 の定理「分散を最大にする方向」。
答え:$\Sigma$ の固有値は $10,4,1,1$ で、第 1 主成分の方向は $(0,0,0,1)$、つまり $X_4$ だけである。1 因子モデルでは $\lambda=(1,1,1,0)$、$\psi=(1,1,1,10)$ で、共通因子は $X_1,X_2,X_3$ の相関を表す。相関行列で主成分分析をすると固有値は $2,1,0.5,0.5$、第 1 主成分は $(1,1,1,0)/\sqrt3$ となり、結果は尺度で変わる。

途中の計算を開く

$\Sigma$ は左上 $3\times3$ が $I_3+\mathbf 1\mathbf 1^{\mathsf T}$(固有値 $4,1,1$)、右下が $10$ のブロック対角。$X_1,X_2,X_3$ の負荷は 3 つ組の公式で $\lambda_i^2=1\cdot1/1=1$。0 でない負荷が 3 つあるので cor-fa-one-factor の仮定が成り立ち、$X_4$ の負荷は $\lambda_4^2=\sigma_{41}\sigma_{42}/\sigma_{12}=0$、独自分散は $\psi_4=10$ と一意に決まる。主成分分析は分散の大きさに引かれ、因子分析は変数の間の共分散だけを共通因子で説明する。

使える条件と反例

各行は主定理の仮定か、モデルが意味をもつための条件を 1 つだけ外す。

外す条件反例成り立たなくなること
行を消す条件$p=4$、$q=2$、$\Lambda$ の行が $(0.8,0),(0.7,0),(0,0.6),(0,0.5)$、$\Psi=I_4-\operatorname{diag}(\Lambda\Lambda^{\mathsf T})$$t\in(0.56,1)$ について第 1 列を $(t,0.56/t,0,0)$ に替えても同じ $\Sigma$ を与え、$\Psi$ が一意でない($t=0.8$ で $\psi_1=0.36$、$t=0.9$ で $\psi_1=0.19$)
行を消す条件($q=1$ で負荷が 2 つ)$p=2$、$r_{12}=0.48$$\lambda_1\lambda_2=0.48$ を満たす $(0.6,0.8)$ と $(0.8,0.6)$ がともに解で、独自分散も $(0.64,0.36)$ と $(0.36,0.64)$ に分かれる
(a) $\Psi$ が対角任意の $\Sigma$ で $\Lambda=0$、$\Psi=\Sigma$分解が何でも許され、$\Lambda$ は何も決まらない
(b) $\psi_i\ge0$ex-fa-heywood の相関行列1 因子の分解はただ 1 つで $\psi_1=-0.28< 0$ を要する。(b) を外せば当てはまるが分散として意味をもたず、(b) を課すと 1 因子の分解は存在しない
Heywood の場合

相関行列の非対角成分を $r_{12}=r_{13}=0.8$、$r_{23}=0.5$ とする。行列は正定値(固有値 $\approx2.40866,0.5,0.09134$)だが、1 因子の分解 $P=\lambda\lambda^{\mathsf T}+\Psi$($P$ は相関行列)は $\lambda_1^2=0.8\cdot0.8/0.5=1.28$、$\lambda_2^2=\lambda_3^2=0.5$ を要し、$\psi_1=1-1.28=-0.28$ となる。負荷はすべて 0 でないので cor-fa-one-factor によりこれが唯一の分解で、$\psi_i\ge0$ を満たす 1 因子の分解は存在しない。$\psi_i\ge0$ のもとで最尤法の不一致度を最小にすると、数値計算では $\psi_1=0$ に張り付き、$\lambda=(1,0.8,0.8)$、$\psi_2=\psi_3=0.36$ となって $r_{23}$ は $0.64$ と当てはめられる。

よくある誤り

誤り正しくはなぜ
因子分析と主成分分析を同じものとみなす因子分析は独自分散を分けてから共通部分を説明するex-fa-pca で第 1 主成分と共通因子が別物になる
得られた $\Lambda$ を一意の答えとして解釈する$\Lambda R$ も同じ当てはまり。回転の基準を明記するprop-fa-rotation
変数 2 つで 1 因子を推定する1 因子なら負荷が 0 でない変数が 3 つ以上要る反例の表の 2 行目
負の独自分散をそのまま報告する境界の解として扱い、モデルを見直すex-fa-heywood
因子得点を因子そのものとみなす得点は予測値で、分散は $1$ より小さいex-fa-one-factor の $s/(1+s)$

補足

因子分析は心理学の試験の研究から生まれ、共分散の構造 $\Sigma=\Lambda\Lambda^{\mathsf T}+\Psi$ と回転の不定性は ESL17 §14.7.1(pp. 558–560)にもまとめられている。そこでは独自分散がすべて等しいとき、特異値分解の上位 $q$ 個の成分が $\Lambda$ の列空間を与えることにも触れている。因子の間の相関を許す 斜交因子モデル($\operatorname{Cov}(\boldsymbol F)=\Phi$)では、$\Lambda\mapsto\Lambda T$、$\Phi\mapsto T^{-1}\Phi T^{-\mathsf T}$($T$ は正則)で不定性がさらに大きくなる。
因子を正規分布に従うとする限り回転の不定性は消えない。因子が独立で正規分布に従わないと仮定すると、回転まで決まることがある。これを使うのが 独立成分分析 である。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する