独立成分分析(independent component analysis)とは、観測 $\boldsymbol X=A\boldsymbol S$($A$ は未知の正則行列、$\boldsymbol S$ は成分が独立な未知の確率変数のベクトル)から、成分が独立になる分離行列を求めて源の信号を取り出す方法である。成分の分散が有限かつ正で、正規分布に従う成分が高々 1 つなら、Darmois–Skitovich の定理により $A$ は成分の順番と尺度を除いて一意に決まる。白色化で問題は直交行列の決定に帰着し、尖度が 0 でない成分は、射影の尖度の絶対値の最大化や固定点反復で取り出せ、音声の分離などに使われる。
部屋で 2 人が同時に話し、2 本のマイクがそれぞれ 2 人の声を異なる割合で混ぜて録音したとする。声を $S_1,S_2$、録音を $X_1,X_2$ とすると $\boldsymbol X=A\boldsymbol S$ で、混合の行列 $A$ も声も分からない。それでも、2 人の声が 独立 で 正規分布に従わない なら、録音だけから声を(順番と大きさを除いて)取り出せる。これが 独立成分分析(ICA)である。
主成分分析 や 因子分析 は共分散(2 次のモーメント)だけを使うので、回転の分だけ答えが決まらない。独立成分分析は独立性という強い仮定で、この回転を決める。この記事では、正規分布に従う成分が高々 1 つなら混合行列が順番と尺度を除いて一意に決まること(主定理)を、Darmois–Skitovich の定理を引用して証明する。さらに、白色化で問題を回転の決定に帰着させ、尖度の最大化と固定点反復で成分が取り出せることを証明し、正規分布の成分が 2 つあると回転が決まらないことなどを反例で示す。
$p$ 次元の確率変数のベクトル $\boldsymbol X$ が、$p$ 次の正則行列 $A$ と、成分 $S_1,\dots,S_p$ が独立な確率変数のベクトル $\boldsymbol S$ によって
$$
\boldsymbol X=A\boldsymbol S
$$
と書けるとき、$\boldsymbol X$ は 独立成分分析のモデル に従うという。$S_k$ を 独立成分(源信号)、$A$ を 混合行列 という。$\boldsymbol X$ の観測だけから、$\boldsymbol W\boldsymbol X$ の成分が独立になる行列 $W$(分離行列)を求めることを 独立成分分析(independent component analysis, ICA)という。
$P$ を置換行列、$D$ を正則な対角行列とすると $A\boldsymbol S=(AP D)(D^{-1}P^{\mathsf T}\boldsymbol S)$ で、$D^{-1}P^{\mathsf T}\boldsymbol S$ の成分も独立である。したがって $A$ は 順番と尺度(符号を含む)の違い を除いてしか決まらない。尺度を固定するため、以下では $E[S_k]=0$、$\operatorname{Var}(S_k)=1$ と正規化することが多い。
独立成分分析を使ってよい条件と、主定理・手順の仮定は次のとおりである。
| 量 | 公式 | 条件 | 根拠 |
|---|---|---|---|
| 不定性 | $A\mapsto APD$、$\boldsymbol S\mapsto D^{-1}P^{\mathsf T}\boldsymbol S$ | $P$ は置換行列、$D$ は正則な対角行列 | 直接計算 |
| 白色化 | $\boldsymbol Z=\Sigma^{-1/2}\boldsymbol X=M\boldsymbol S$、$M=\Sigma^{-1/2}A$ は直交行列 | $\operatorname{Cov}(\boldsymbol S)=I$、$\Sigma=\operatorname{Cov}(\boldsymbol X)$ | prop-ica-whiten |
| 分離行列 | $W=M^{\mathsf T}\Sigma^{-1/2}=A^{-1}$ | 同上 | prop-ica-whiten |
| 尖度の加法性 | $\kappa(aU+bV)=a^4\kappa(U)+b^4\kappa(V)$ | $U,V$ は独立で平均 $0$、4 次のモーメント有限 | lem-ica-kurt |
| 射影の尖度 | $\kappa(w^{\mathsf T}\boldsymbol Z)=\sum_kq_k^4\kappa(S_k)$、$q=M^{\mathsf T}w$ | $\|w\|=1$、(v) | prop-ica-kurtmax |
| 固定点反復 | $w\leftarrow E[\boldsymbol Z(w^{\mathsf T}\boldsymbol Z)^3]-3w$ を正規化 | (v)、$\|w\|=1$ | prop-ica-fixed |
| 一様分布の尖度 | $\kappa=-\frac65$ | 区間 $[-\sqrt3,\sqrt3]$ の一様分布 | 積分 |
| Laplace 分布の尖度 | $\kappa=3$ | 密度 $\frac1{\sqrt2}e^{-\sqrt2\lvert u\rvert}$ | 積分 |
主定理の証明は次の定理に依存する。
$S_1,\dots,S_p$ を独立な確率変数、$a_k,b_k$ を実数とする。$L_1=\sum_ka_kS_k$ と $L_2=\sum_kb_kS_k$ が独立なら、$a_kb_k\ne0$ となるすべての $k$ について $S_k$ は正規分布(分散 $0$ を含む)に従う。
この記事では証明しない。主張は Com94 Theorem 19(p. 306)にあり、証明には Marcinkiewicz–Dugué の補題と Cramér の補題(同 p. 294 の Lemma 8・9)、関数方程式についての Darmois の補題(同 p. 306 の Lemma 20)が使われる。白色化した場合の結論(正規分布の成分が高々 1 つで、どの成分の分布も 1 点に集中しないとき、直交行列 $C$ について $C\boldsymbol S$ の成分が独立なら $C$ は各行・各列に 0 でない成分をちょうど 1 つもつ)は同 Theorem 11(p. 294)にあり、その証明には Darmois–Skitovich の定理の変形である同 Theorem 10(p. 294)が使われる。
$\boldsymbol S$ の成分は独立で、分散は有限かつ正、正規分布に従うものは高々 1 つとする。$A,B$ を $p$ 次の正則行列、$\boldsymbol T$ を成分が独立な確率変数のベクトルとし、$A\boldsymbol S=B\boldsymbol T$ とする。このとき、置換行列 $P$ と正則な対角行列 $D$ で $B=APD$ となるものがある。とくに $\boldsymbol T=D^{-1}P^{\mathsf T}\boldsymbol S$ で、$\boldsymbol T$ の成分は $\boldsymbol S$ の成分を並べ替えて定数倍したものである。
$C:=B^{-1}A$ とすると $\boldsymbol T=C\boldsymbol S$ で、$C$ は正則である。$C$ が各行・各列に 0 でない成分をちょうど 1 つもつ(一般化置換行列 である)ことを示せばよい。そうなら $C^{-1}$ も一般化置換行列で $C^{-1}=PD$ と書け、$B=AC^{-1}=APD$ となる。
段 1(標準化):$D_S:=\operatorname{diag}(\sqrt{\operatorname{Var}S_k})$ とし、$\boldsymbol S':=D_S^{-1}(\boldsymbol S-E\boldsymbol S)$ とする。$\boldsymbol T=C\boldsymbol S$ の各成分は分散が有限で、$\operatorname{Cov}(\boldsymbol T)=CD_S^2C^{\mathsf T}$ は正定値だから各 $T_i$ の分散は正である。$D_T:=\operatorname{diag}(\sqrt{\operatorname{Var}T_i})$、$\boldsymbol T':=D_T^{-1}(\boldsymbol T-E\boldsymbol T)$ とおくと、$\boldsymbol S',\boldsymbol T'$ の成分はそれぞれ独立で、平均 $0$、分散 $1$ であり、
$$
\boldsymbol T'=C'\boldsymbol S',\qquad C':=D_T^{-1}CD_S
$$
である。独立な成分は無相関なので $\operatorname{Cov}(\boldsymbol S')=\operatorname{Cov}(\boldsymbol T')=I$ で、$I=C'IC'^{\mathsf T}$、すなわち $C'$ は直交行列である。$C=D_TC'D_S^{-1}$ なので、$C'$ が一般化置換行列であることを示せばよい。
段 2(0 でない成分が 2 つある列):$C'$ の第 $k$ 列が $i\ne j$ で $c'_{ik}\ne0$、$c'_{jk}\ne0$ をもつとする。$T'_i=\sum_lc'_{il}S'_l$ と $T'_j=\sum_lc'_{jl}S'_l$ は独立で、$c'_{ik}c'_{jk}\ne0$ だから、thm-ica-darmois により $S'_k$、したがって $S_k$ は正規分布に従う。仮定から正規分布に従う $S_k$ は高々 1 つなので、0 でない成分を 2 つ以上もつ列は高々 1 つである。
段 3(直交性):そのような列 $k$ があったとする。ほかの列 $l\ne k$ は($C'$ は正則なので $0$ ではなく)0 でない成分をちょうど 1 つもち、長さ $1$ なので $\pm e_{\pi(l)}$ の形である。異なる 2 列は直交するので $\pi(l)$ はすべて異なり、$p-1$ 個の行を占める。第 $k$ 列はこれらの列と直交するので、$\pi(l)$ の行の成分は $0$ で、0 でない成分は残る 1 行にしかない。これは第 $k$ 列が 0 でない成分を 2 つ以上もつことに反する。
よって $C'$ のどの列も 0 でない成分をちょうど 1 つもち、段 3 と同じ理由でそれらの行はすべて異なる。$C'$ は一般化置換行列である。$\square$
正規分布に従う成分が 2 つあると、結論は成り立たない。
$S_1,S_2$ が独立で標準正規分布に従うとき、どの 2 次の直交行列 $R$ についても $R\boldsymbol S$ の 2 成分は独立で、$R\boldsymbol S$ と $\boldsymbol S$ は同じ分布に従う。
$\boldsymbol S$ は平均 $0$、共分散 $I$ の 多変量正規分布 に従う。同記事の定理「1 次変換で多変量正規分布は保たれる」により $R\boldsymbol S$ は平均 $0$、共分散 $RIR^{\mathsf T}=I$ の多変量正規分布に従い、分布は $\boldsymbol S$ と同じである。成分は無相関なので、同記事の定理「無相関なら独立」により独立である。$\square$
$\operatorname{Cov}(\boldsymbol S)=I$ とし、$\Sigma:=\operatorname{Cov}(\boldsymbol X)$ とする。$\Sigma=AA^{\mathsf T}$ は正定値で、その正定値な平方根の逆 $\Sigma^{-1/2}$ について $\boldsymbol Z:=\Sigma^{-1/2}\boldsymbol X$ は $\operatorname{Cov}(\boldsymbol Z)=I$、$\boldsymbol Z=M\boldsymbol S$、$M:=\Sigma^{-1/2}A$ は直交行列である。分離行列は $W=M^{\mathsf T}\Sigma^{-1/2}=A^{-1}$ である。
$\operatorname{Cov}(A\boldsymbol S)=AA^{\mathsf T}$ で、$A$ が正則なので $u\ne0$ なら $u^{\mathsf T}AA^{\mathsf T}u=\|A^{\mathsf T}u\|^2>0$。対称な正定値行列は正の固有値で直交対角化でき、固有値を $\lambda^{-1/2}$ に替えて $\Sigma^{-1/2}$ を作れる。$MM^{\mathsf T}=\Sigma^{-1/2}AA^{\mathsf T}\Sigma^{-1/2}=\Sigma^{-1/2}\Sigma\Sigma^{-1/2}=I$ なので $M$ は直交行列で、$\operatorname{Cov}(\boldsymbol Z)=MM^{\mathsf T}=I$。$M^{\mathsf T}\Sigma^{-1/2}A=M^{\mathsf T}M=I$ から $W=A^{-1}$。$\square$
白色化のあとに残る未知は直交行列 $M$ だけで、2 次元なら回転の角 1 つである。2 次のモーメントだけでは $M$ は決まらないので(prop-ica-gauss)、高次のモーメントを使う。
$U,V$ が独立で平均 $0$、4 次のモーメントが有限なら、実数 $a,b$ について $\kappa(aU+bV)=a^4\kappa(U)+b^4\kappa(V)$ である。
独立性と $E[U]=E[V]=0$ から、奇数乗を含む項 $E[U^3V]=E[U^3]E[V]=0$ などは消え、$E[(aU+bV)^4]=a^4E[U^4]+6a^2b^2E[U^2]E[V^2]+b^4E[V^4]$。一方 $(E[(aU+bV)^2])^2=(a^2E[U^2]+b^2E[V^2])^2=a^4(E[U^2])^2+2a^2b^2E[U^2]E[V^2]+b^4(E[V^2])^2$。前者から後者の 3 倍を引くと、$a^2b^2$ の項は $6-6=0$ で消え、主張を得る。$\square$
$\boldsymbol Z=M\boldsymbol S$($M$ は直交行列、$S_k$ は独立で平均 $0$、分散 $1$、4 次のモーメント有限)とし、$\kappa_k:=\kappa(S_k)$、$\kappa^*:=\max_k\lvert\kappa_k\rvert$ とする。長さ $1$ の $w$ について $q:=M^{\mathsf T}w$ とおくと
$$
\kappa(w^{\mathsf T}\boldsymbol Z)=\sum_kq_k^4\kappa_k,\qquad\lvert\kappa(w^{\mathsf T}\boldsymbol Z)\rvert\le\kappa^*
$$
である。$\kappa^*>0$ なら、等号が成り立つのは、$\lvert\kappa_k\rvert=\kappa^*$ のある $k$ について $w^{\mathsf T}\boldsymbol Z=\pm S_k$ となるときに限る。
$w^{\mathsf T}\boldsymbol Z=q^{\mathsf T}\boldsymbol S=\sum_kq_kS_k$ で、lem-ica-kurt を繰り返し使うと $\kappa(w^{\mathsf T}\boldsymbol Z)=\sum_kq_k^4\kappa_k$。$\|q\|=\|w\|=1$ なので
$$
\Bigl\lvert\sum_kq_k^4\kappa_k\Bigr\rvert\le\sum_kq_k^4\lvert\kappa_k\rvert\le\kappa^*\sum_kq_k^4\le\kappa^*\Bigl(\sum_kq_k^2\Bigr)^2=\kappa^*
$$
である。最後の不等号は $(\sum_kq_k^2)^2=\sum_kq_k^4+\sum_{j\ne k}q_j^2q_k^2$ による。$\kappa^*>0$ で全体が等号なら、最後の等号から $q$ の 0 でない成分はただ 1 つ $q_k=\pm1$ で、2 つ目の等号から $\lvert\kappa_k\rvert=\kappa^*$。このとき $w^{\mathsf T}\boldsymbol Z=\pm S_k$。逆にこの $q$ で等号が成り立つ。$\square$
$\lvert\kappa\rvert$ を最大にする方向で 1 つ成分を取り出したら、その方向に直交する空間で同じことを繰り返せば($M$ の残りの列は直交補空間にある)、尖度が $0$ でない成分を順に取り出せる。最大点の探索には次の反復が使える。
prop-ica-kurtmax の設定で、長さ $1$ の $w$ について $g(w):=E[\boldsymbol Z(w^{\mathsf T}\boldsymbol Z)^3]-3w$ とおくと $g(w)=M(\kappa_kq_k^3)_k$ である。$w^{(0)}$ から $w^{(n+1)}:=g(w^{(n)})/\|g(w^{(n)})\|$ と反復し、$q^{(n)}=M^{\mathsf T}w^{(n)}$ とする。$r_k:=\lvert\kappa_k\rvert^{1/2}\lvert q^{(0)}_k\rvert$ の最大をとる $k^*$ がただ 1 つで $\kappa_{k^*}\ne0$ なら、$\lvert q^{(n)}_{k^*}\rvert\to1$ であり、$k\ne k^*$ について $\lvert q^{(n)}_k\rvert\le\lvert\kappa_k\rvert^{-1/2}\lvert\kappa_{k^*}\rvert^{1/2}(r_k/r_{k^*})^{3^n}$($\kappa_k\ne0$ のとき。$\kappa_k=0$ なら $n\ge1$ で $q^{(n)}_k=0$)である。
$\boldsymbol Z=M\boldsymbol S$ から $E[\boldsymbol Z(w^{\mathsf T}\boldsymbol Z)^3]=ME[\boldsymbol S(q^{\mathsf T}\boldsymbol S)^3]$。第 $k$ 成分 $E[S_k(\sum_jq_jS_j)^3]$ を展開すると、独立性と平均 $0$ から残るのは $S_k^4$ の項 $q_k^3E[S_k^4]$ と、$j\ne k$ の $S_k^2S_j^2$ の項 $3q_kq_j^2$($E[S_k^2]=E[S_j^2]=1$)だけで、和は $q_k^3E[S_k^4]+3q_k(1-q_k^2)=\kappa_kq_k^3+3q_k$。$Mq=w$ なので $g(w)=M(\kappa_kq_k^3)_k$。よって $q$ の座標では $q^{(n+1)}_k=c_n\kappa_k(q^{(n)}_k)^3$($c_n>0$ は正規化の定数)で、帰納法により $q^{(n)}_k=C_n\kappa_k^{(3^n-1)/2}(q^{(0)}_k)^{3^n}$($C_n>0$)。ここで $q^{(n)}_{k^*}\ne0$ がすべての $n$ で保たれ、$g(w^{(n)})\ne0$ である。$\kappa_k\ne0$ なら $\lvert q^{(n)}_k\rvert/\lvert q^{(n)}_{k^*}\rvert=\lvert\kappa_k\rvert^{-1/2}\lvert\kappa_{k^*}\rvert^{1/2}(r_k/r_{k^*})^{3^n}$ で、$\lvert q^{(n)}_{k^*}\rvert\le1$ から評価を得る。$r_k< r_{k^*}$ なので右辺は $0$ に近づき、$\|q^{(n)}\|=1$ から $\lvert q^{(n)}_{k^*}\rvert\to1$。$\square$
比 $r_k/r_{k^*}$ が反復ごとに 3 乗されるので、収束は非常に速い。
$S_1,S_2$ を独立で区間 $[-\sqrt3,\sqrt3]$ の一様分布に従う(平均 $0$、分散 $1$)とし、$A=\begin{pmatrix}1&1\\0&1\end{pmatrix}$ で $\boldsymbol X=A\boldsymbol S$ とする。白色化の行列、直交行列 $M$、方向ごとの尖度を求める。使う公式:prop-ica-whiten、prop-ica-kurtmax。
答え:$\Sigma=\begin{pmatrix}2&1\\1&1\end{pmatrix}$、$\Sigma^{-1/2}=\frac1{\sqrt5}\begin{pmatrix}2&-1\\-1&3\end{pmatrix}$、$M=\frac1{\sqrt5}\begin{pmatrix}2&1\\-1&2\end{pmatrix}$(列の角 $\approx-26.565^\circ$ と $63.435^\circ$)。$M$ の第 1 列から角 $\varphi$ だけ回した $w$ では $\kappa(w^{\mathsf T}\boldsymbol Z)=-\frac65(\cos^4\varphi+\sin^4\varphi)$ で、$\varphi=0^\circ,15^\circ,30^\circ,45^\circ$ で $-1.2,-1.05,-0.75,-0.6$。$\lvert\kappa\rvert$ は $\varphi=0^\circ,90^\circ$ で最大になり、そこから $W=M^{\mathsf T}\Sigma^{-1/2}=\begin{pmatrix}1&-1\\0&1\end{pmatrix}=A^{-1}$ が得られる。
$\Sigma$ の固有値は $\frac{3\pm\sqrt5}2$。$\Sigma^{-1/2}$ は 2 乗して $\Sigma^{-1}=\begin{pmatrix}1&-1\\-1&2\end{pmatrix}$ になる正定値行列として確かめられる:$\frac15\begin{pmatrix}2&-1\\-1&3\end{pmatrix}^2=\frac15\begin{pmatrix}5&-5\\-5&10\end{pmatrix}$。$M=\Sigma^{-1/2}A$ の積を計算し、$MM^{\mathsf T}=I$ を確かめる。一様分布の尖度は $E[S^4]-3=\frac1{2\sqrt3}\int_{-\sqrt3}^{\sqrt3}u^4\,du-3=\frac95-3=-\frac65$。$q=(\cos\varphi,\sin\varphi)$ に prop-ica-kurtmax の式を当てる。
白色化した座標で尖度が $\kappa=(-1.2,3)$(一様分布と Laplace 分布)の 2 成分に、$q^{(0)}=(0.8,0.6)$ から prop-ica-fixed の反復を行う。使う公式:prop-ica-fixed。
答え:$r=(\sqrt{1.2}\cdot0.8,\sqrt3\cdot0.6)\approx(0.87636,1.03923)$ なので第 2 成分が取り出される。$q^{(n)}$ は $(-0.68804,0.72567)$、$(0.32271,0.94650)$、$(-0.01585,0.99987)$、$(0.000002,1.000000)$ と進む。$q^{(0)}=(0.95,\sqrt{1-0.95^2})\approx(0.95,0.31225)$ からなら $r\approx(1.04067,0.54083)$ で、第 1 成分(一様分布)に $\pm e_1$ の形で収束する(2 回で $\lvert q_1\rvert\approx0.999998$)。
$S_1,S_2$ を ex-ica-uniform の一様分布とする。$Y=(S_1+S_2)/\sqrt2$ の尖度を求める。使う公式:lem-ica-kurt。
答え:$\kappa(Y)=\frac14(-\frac65)+\frac14(-\frac65)=-0.6$ で、$\lvert\kappa\rvert$ は成分の半分になる。$n$ 個の独立な同じ分布の成分の平均を $\sqrt n$ 倍したものでは $\kappa=\kappa(S_1)/n\to0$ である。混合は 中心極限定理 の向きに正規分布へ近づくので、正規分布から最も遠い方向を探すことが成分を探すことになる。
図: 左上は独立な一様分布の 2 成分の標本の散布図で正方形に広がる。右上は混合行列 A で混ぜた観測の散布図で平行四辺形になる。左下は白色化した標本で、正方形を回転した形になり、赤い線分は直交行列 M の 2 つの列の向きを示す。右下は白色化した標本を角 φ の方向に射影したときの尖度で、0 度と 90 度で最小値 -1.2、45 度で -0.6 となる。
各行は、主定理か尖度による手順の仮定を 1 つだけ外す。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| (iii) 正規分布の成分は高々 1 つ | $S_1,S_2$ が独立な標準正規分布 | どの回転 $R$ でも $R\boldsymbol S$ の成分は独立で分布も同じ(prop-ica-gauss)。$R$ を $30^\circ$ の回転とすると $A\boldsymbol S=(AR^{\mathsf T})(R\boldsymbol S)$ で、$AR^{\mathsf T}$ は $APD$ の形でなく、主定理の結論が成り立たない |
| (ii) 成分が独立 | $\boldsymbol S$ が半径 $2$ の円板の一様分布 | 成分は平均 $0$、分散 $1$ で無相関、尖度 $-1$ で正規分布でもないが、$E[S_1^2S_2^2]=\frac23\ne1$ で独立でない。分布が回転で変わらないので、$30^\circ$ の回転 $R$ について $R\boldsymbol S$ も無相関で同じ分布に従い、$A\boldsymbol S=(AR^{\mathsf T})(R\boldsymbol S)$ の 2 通りの分解は「無相関な成分」の範囲では区別できない |
| (i) $A$ が正則 | $A=\begin{pmatrix}1&1\\1&1\end{pmatrix}$ | $X_1=X_2=S_1+S_2$ で、観測から $S_1,S_2$ を分けられない |
| (v) 尖度が $0$ でない | $S_1,S_2$ が独立で $\{-\sqrt3,0,\sqrt3\}$ に確率 $\frac16,\frac23,\frac16$ | 平均 $0$、分散 $1$、$E[S^4]=3$ で尖度 $0$。主定理の仮定は満たし $A$ は決まるが、prop-ica-kurtmax によりどの方向でも尖度が $0$ で、尖度による手順は方向を選べない |
2 行目:極座標で密度は $\frac1{4\pi}$、$E[S_1^2]=\frac1{4\pi}\int_0^{2\pi}\!\int_0^2r^2\cos^2\phi\,r\,dr\,d\phi=1$、$E[S_1^4]=2$、$E[S_1^2S_2^2]=\frac23$。独立なら $E[S_1^2S_2^2]=E[S_1^2]E[S_2^2]=1$ のはずである。4 行目:$\kappa(S)=E[S^4]-3=\frac16\cdot9\cdot2-3=0$ で、$w^{\mathsf T}\boldsymbol Z$ の尖度は $\sum_kq_k^4\cdot0=0$。
| 誤り | 正しくは | なぜ |
|---|---|---|
| 主成分分析で成分が分離できると考える | 主成分分析は白色化までで、回転は決まらない | prop-ica-whiten のあとに残る $M$ は 2 次のモーメントで決まらない |
| 取り出した成分の順番・大きさ・符号に意味を読む | それらは決まらない。分散 $1$ などに正規化して比べる | 定義の後の不定性 |
| 無相関にすれば独立になると考える | 無相関は独立より弱い | 反例の表の 2 行目 |
| 正規分布の成分が 2 つ以上あっても分離できると考える | それらの成分の張る空間の中の回転は決まらない | prop-ica-gauss |
| 白色化せずに尖度を比べる | 白色化して $\|w\|=1$ に正規化してから比べる | 尺度を変えると $\kappa(cY)=c^4\kappa(Y)$ で値が変わる |
尖度は外れ値に敏感なので、実際にはエントロピーに基づく尺度もよく使われる。分散を固定すると微分エントロピーは正規分布で最大になるので、正規分布との差 ネゲントロピー $J(Y)=H(G)-H(Y)$($G$ は $Y$ と同じ分散の正規分布)は非負で、正規分布から遠いほど大きい。白色化した $\boldsymbol Z$ と直交行列 $W$ について、$\boldsymbol Y=W\boldsymbol Z$ の成分の間の 相互情報量 は $\sum_jH(Y_j)-H(\boldsymbol Z)$ となり、成分の微分エントロピーの和を最小にすることが独立に近づけることになる(ESL17 §14.7.2、pp. 560–562)。Com94 は相互情報量を対比関数として独立成分分析を定式化した。
成分の数が観測の数より多い場合や、雑音を含むモデル $\boldsymbol X=A\boldsymbol S+\boldsymbol\varepsilon$ は、この記事の定理の範囲の外である。因子分析 の因子を独立で正規分布でないとした形とも見られる。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する