正準相関分析

同義語:正準相関canonical correlation analysisCCA

概要

正準相関分析(canonical correlation analysis)とは、2 組の確率ベクトル $X\in\mathbb R^p$、$Y\in\mathbb R^q$ について、1 次結合 $a^{\top}X$ と $b^{\top}Y$ の相関係数を、それ以前の組と無相関という制約のもとで順に最大化する方法である。$X,Y$ の共分散行列が正定値なら、最大値(正準相関)は $\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1/2}$ の特異値に等しく、係数は特異ベクトルから得られる。正準相関は正則な 1 次変換で変わらず、$Y$ が 1 変数なら重相関係数になり、正規分布のもとでの独立性の尤度比統計量は標本正準相関 $r_k$ で $-n\sum_k\log(1-r_k^2)$ と書ける。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 共分散行列, 特異値分解, 相関係数, 多変量正規分布

同じ人について、学力テストの $p$ 科目の点数 $X\in\mathbb R^p$ と、生活習慣の $q$ 項目の値 $Y\in\mathbb R^q$ を測ったとする。2 つの組のあいだの関係を、$p\times q$ 個の相関係数を眺めて読むのは難しい。そこで、$X$ の成分の 1 次結合 $a^{\top}X$ と $Y$ の成分の 1 次結合 $b^{\top}Y$ を選んで、その相関係数をできるだけ大きくする。最大の相関とそれを与える組を順に取り出すのが 正準相関分析(canonical correlation analysis、CCA)である。Hotelling が導入した(Mur25 §28.3.4.3、p. 956)。
この記事の主定理は、正準相関が行列 $\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1/2}$ の特異値に等しく、最大を与える組が特異ベクトルから得られることである。これにより、相関の最大化という非線形の問題が 特異値分解 1 回に帰着する。続いて、1 次変換による不変性、$Y$ が 1 変数のときの重相関係数との一致、行列式の分解、正規分布のもとでの独立性の尤度比検定を証明する。標本の大きさが変数の数に比べて小さいと、独立なデータでも標本正準相関が $1$ になることも示す。

定義と使える条件

$X\in\mathbb R^p$、$Y\in\mathbb R^q$ を同じ確率空間の上の確率ベクトルとし、成分の 2 乗の期待値は有限とする。共分散行列を
$$ \Sigma_{XX}:=\operatorname{Cov}(X),\qquad \Sigma_{YY}:=\operatorname{Cov}(Y),\qquad \Sigma_{XY}:=\mathrm E\bigl[(X-\mathrm EX)(Y-\mathrm EY)^{\top}\bigr]=\Sigma_{YX}^{\top} $$
と書き、$m:=\min(p,q)$ とおく。$a\in\mathbb R^p$ について $\operatorname{Var}(a^{\top}X)=a^{\top}\Sigma_{XX}a$、$\operatorname{Cov}(a^{\top}X,b^{\top}Y)=a^{\top}\Sigma_{XY}b$ である。

正準相関と正準変量

$\Sigma_{XX}$ と $\Sigma_{YY}$ が正定値であるとする。$k=1,\dots,m$ について順に、次の最大化問題の解 $(a_k,b_k)$ を 1 つ選ぶ。
$$ \rho_k:=\max\Bigl\{\operatorname{Cov}(a^{\top}X,b^{\top}Y)\ \Bigm|\ \operatorname{Var}(a^{\top}X)=\operatorname{Var}(b^{\top}Y)=1,\ \operatorname{Cov}(a^{\top}X,a_j^{\top}X)=\operatorname{Cov}(b^{\top}Y,b_j^{\top}Y)=0\ (j< k)\Bigr\}. $$
$\rho_k$ を 第 $k$ 正準相関、$U_k:=a_k^{\top}X$、$V_k:=b_k^{\top}Y$ を 第 $k$ 正準変量(の組)、$a_k,b_k$ を 正準係数 という。

分散を $1$ にそろえているので、最大化する共分散は相関係数 $\operatorname{corr}(a^{\top}X,b^{\top}Y)$ に等しい。$b$ を $-b$ に替えれば符号が変わるので $\rho_k\ge0$ である。最大値が存在すること、$\rho_k$ が途中の選び方によらないことは主定理で示す。
データ $(x_i,y_i)$($i=1,\dots,n$)に対しては、$\Sigma$ を標本共分散行列 $S_{XX},S_{YY},S_{XY}$(割る数は $n$ でも $n-1$ でも結果は同じ)に替えて同じ定義を使い、得た値 $r_k$ を 標本正準相関 という。
使える条件は次のとおりである。

  • (i) 2 次の積率:$X,Y$ の成分の分散が有限である。
  • (ii) 正則性:$\Sigma_{XX}$ と $\Sigma_{YY}$ が正定値である(標本では $S_{XX},S_{YY}$ が正定値で、とくに $n-1\ge\max(p,q)$)。
  • (iii) 線形性:正準相関が測るのは 1 次結合どうしの相関である。$\rho_1=0$ から独立性が言えるのは、$(X,Y)$ が同時に正規分布に従う場合である。
  • (iv) 標本の大きさ:標本正準相関を母集団の値の推定に使うには、$n$ が $p+q$ より十分大きい必要がある。
  • (v) 正規性:独立性の尤度比検定の分布の近似に要る。

公式の表

以下 $K:=\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1/2}$($p\times q$)とする。$\Sigma^{-1/2}$ は正定値行列の正定値な平方根の逆行列である。

量公式使える条件根拠
正準相関$\rho_1\ge\dots\ge\rho_m$ は $K$ の特異値(i)(ii)thm-cca-svd
正準係数$a_k=\Sigma_{XX}^{-1/2}u_k$、$b_k=\Sigma_{YY}^{-1/2}v_k$($u_k,v_k$ は $K$ の特異ベクトル)(i)(ii)thm-cca-svd
固有値の形$\rho_k^2$ は $\Sigma_{XX}^{-1}\Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}$ の大きい方から $m$ 個の固有値(i)(ii)thm-cca-svd
異なる組の無相関$\operatorname{Cov}(U_i,V_j)=0$($i\ne j$)(i)(ii)thm-cca-svd
不変性$X\mapsto AX+c$、$Y\mapsto BY+d$($A,B$ 正則)で $\rho_k$ は変わらない(i)(ii)prop-cca-invariance
$q=1$$\rho_1^2=\Sigma_{YX}\Sigma_{XX}^{-1}\Sigma_{XY}/\operatorname{Var}Y$(重相関係数の 2 乗)(i)(ii)prop-cca-multiple
行列式$\det\Sigma=\det\Sigma_{XX}\det\Sigma_{YY}\prod_{k=1}^m(1-\rho_k^2)$(i)(ii)prop-cca-det
独立性の検定$-2\log\Lambda=-n\sum_k\log(1-r_k^2)$、帰無仮説のもとで近似的に $\chi^2_{pq}$(v)、独立同分布thm-cca-lrt
標本の大きさ$n\le p+q$ なら $r_1=1$(ii) の標本版prop-cca-highdim

主定理と証明

まず行列の補題を置く。$L$ を実行列(または内積空間の間の線形写像)とし、$\sigma_{\max}(L)$ で $L$ の最大特異値を表す。

双線形形式の最大と特異ベクトル

$\max\{u^{\top}Lv\mid \lvert u\rvert=\lvert v\rvert=1\}=\sigma_{\max}(L)$ である。$\sigma_{\max}(L)>0$ のとき、最大を与える $(u,v)$ は $Lv=\sigma_{\max}(L)u$ と $L^{\top}u=\sigma_{\max}(L)v$ を満たす。

証明を開く

Cauchy–Schwarz の不等式から $u^{\top}Lv\le\lvert u\rvert\lvert Lv\rvert=\lvert Lv\rvert$ で、$\lvert Lv\rvert^2=v^{\top}L^{\top}Lv$ は単位ベクトル $v$ について $L^{\top}L$ の最大固有値 $\sigma_{\max}(L)^2$ 以下である(Rayleigh商)。$v$ を $L^{\top}L$ の最大固有値の固有ベクトル、$u:=Lv/\lvert Lv\rvert$ とすれば等号が成り立つ。最大を与える $(u,v)$ では 2 つの不等号がともに等号なので、$\lvert Lv\rvert=\sigma_{\max}(L)$(したがって $L^{\top}Lv=\sigma_{\max}(L)^2v$)と $u=Lv/\lvert Lv\rvert$ が成り立つ。よって $Lv=\sigma_{\max}(L)u$、$L^{\top}u=L^{\top}Lv/\sigma_{\max}(L)=\sigma_{\max}(L)v$ である。$\square$

正準相関は特異値である

(i)(ii) を仮定し、$K$ の特異値を $\sigma_1\ge\sigma_2\ge\dots\ge\sigma_m\ge0$ とする。

  1. def-cca-main の最大値はどの段でも存在し、途中の $(a_j,b_j)$ の選び方によらず $\rho_k=\sigma_k$ である。とくに $0\le\rho_k\le1$ である。
  2. $K$ の特異値分解 $K=\sum_{i=1}^m\sigma_iu_iv_i^{\top}$($u_i\in\mathbb R^p$、$v_i\in\mathbb R^q$ はそれぞれ正規直交)について、$a_k:=\Sigma_{XX}^{-1/2}u_k$、$b_k:=\Sigma_{YY}^{-1/2}v_k$ は、それより前の段でも $(a_j,b_j)$ をこの形に選んだとき、第 $k$ 段の最大を与える。
  3. どの選び方でも、正準変量は $\operatorname{Cov}(U_i,U_j)=\operatorname{Cov}(V_i,V_j)=\delta_{ij}$、$\operatorname{Cov}(U_i,V_j)=\rho_i\delta_{ij}$ を満たす。
  4. $\rho_1^2,\dots,\rho_m^2$ は $M:=\Sigma_{XX}^{-1}\Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}$ の固有値を大きい方から $m$ 個並べたものである。
白色化して特異値の最大化に帰着する

段 1(変数の取り替え)。 $u:=\Sigma_{XX}^{1/2}a$、$v:=\Sigma_{YY}^{1/2}b$ とおくと、これは $\mathbb R^p$、$\mathbb R^q$ の全単射で、
$$ \operatorname{Var}(a^{\top}X)=\lvert u\rvert^2,\qquad \operatorname{Var}(b^{\top}Y)=\lvert v\rvert^2,\qquad \operatorname{Cov}(a^{\top}X,b^{\top}Y)=u^{\top}Kv,\qquad \operatorname{Cov}(a^{\top}X,a_j^{\top}X)=u^{\top}u_j' $$
である($u_j':=\Sigma_{XX}^{1/2}a_j$、$v_j'$ も同様)。したがって第 $k$ 段の問題は、単位ベクトル $u\perp u_1',\dots,u_{k-1}'$ と単位ベクトル $v\perp v_1',\dots,v_{k-1}'$ にわたる $u^{\top}Kv$ の最大化である。
段 2(帰納法の主張)。 $\sigma_k>0$ となる $k$ について、次を帰納法で示す:第 $k$ 段の最大値は存在して $\sigma_k$ に等しく、最大を与える $(u_k',v_k')$ は $Kv_k'=\sigma_ku_k'$、$K^{\top}u_k'=\sigma_kv_k'$ を満たす。
第 $k$ 段で、それまでの $(u_j',v_j')$($j< k$)がこの等式を満たす正規直交な組だとする。$P:=\{u_1',\dots,u_{k-1}'\}^{\perp}$、$Q:=\{v_1',\dots,v_{k-1}'\}^{\perp}$ とおく(次元は $p-k+1\ge1$、$q-k+1\ge1$)。$v\in Q$ なら $u_j'^{\top}Kv=(K^{\top}u_j')^{\top}v=\sigma_jv_j'^{\top}v=0$ なので $K(Q)\subset P$、同様に $K^{\top}(P)\subset Q$ である。$K$ を $Q\to P$ の線形写像に制限したものを $K'$ とし、その特異値分解を $\{(u_j',v_j')\}_{j< k}$ と合わせると $K$ の特異値分解になる。特異値の重複を込めた並びは一意なので、$K'$ の特異値は $\sigma_k,\dots,\sigma_m$ で、$\sigma_{\max}(K')=\sigma_k$ である。lem-cca-bilinear を $K'$ に使うと、最大値は $\sigma_k$ で、最大を与える組は $K'v=\sigma_ku$、$K'^{\top}u=\sigma_kv$ を満たす。$K'^{\top}$ は $K^{\top}$ の $P$ への制限なので、これが帰納法の主張である。
$\sigma_k=0$ となる最初の $k$ では、同じ $K'$ の特異値がすべて $0$ なので $K'=0$、すなわち $K$ は $Q$ を $0$ に写す。以後の段の $v$ はすべて $Q$ に入るので、どう選んでも $u^{\top}Kv=0$ で、最大値は $0=\sigma_k$ である。
段 3(結論)。 段 2 から 1 が従う。$\rho_1=\sigma_1\le1$ は、$\operatorname{Cov}(a^{\top}X,b^{\top}Y)^2\le\operatorname{Var}(a^{\top}X)\operatorname{Var}(b^{\top}Y)$(Cauchy–Schwarz)から分かる。2 は、特異値分解の $(u_k,v_k)$ が段 1 の制約を満たし $u_k^{\top}Kv_k=\sigma_k$ となることから従う。3 のうち $\operatorname{Cov}(U_i,U_j)=u_i'^{\top}u_j'=\delta_{ij}$ は制約そのもの、$\operatorname{Cov}(U_i,V_j)=u_i'^{\top}Kv_j'=\sigma_ju_i'^{\top}u_j'=\rho_i\delta_{ij}$ は段 2 の等式から出る($\sigma_j=0$ の段では $Kv_j'=0$、$\sigma_i=0$ の段の $u_i'$ には $\sigma_j u_i'^{\top}u_j'=0$ を使う)。4 は、$M=\Sigma_{XX}^{-1/2}(KK^{\top})\Sigma_{XX}^{1/2}$ が $KK^{\top}$ と相似で、$KK^{\top}$ の固有値が $\sigma_1^2,\dots,\sigma_m^2$ と($p>m$ なら)$0$ であることから従う。$\square$

この証明は、$\Sigma_{XX}^{-1/2}$ で $X$ を 白色化(成分を無相関・分散 $1$ にする)すれば、相関の最大化が単位球面の上の双線形形式の最大化になる、ということである。$u_k,v_k$ を 特異値分解 で求めれば、正準係数は $a_k=\Sigma_{XX}^{-1/2}u_k$ で得られる。

性質

1 次変換による不変性

$A$($p\times p$)、$B$($q\times q$)を正則行列、$c,d$ を定ベクトルとする。$X':=AX+c$、$Y':=BY+d$ の正準相関は $X,Y$ の正準相関と等しく、正準係数は $a_k'=A^{-\top}a_k$、$b_k'=B^{-\top}b_k$ にとれる。

証明を開く

$\Sigma_{X'X'}=A\Sigma_{XX}A^{\top}$、$\Sigma_{Y'Y'}=B\Sigma_{YY}B^{\top}$、$\Sigma_{X'Y'}=A\Sigma_{XY}B^{\top}$ なので、thm-cca-svd の 4 の行列は $M'=A^{-\top}MA^{\top}$ となり、$M$ と相似で固有値が等しい。係数については $(A^{-\top}a)^{\top}X'=a^{\top}X+a^{\top}A^{-1}c$ で、定数のずれは分散・共分散を変えないので、制約と目的関数がそのまま対応する。$\square$

とくに各成分の単位を変えても($A,B$ が正の対角行列)正準相関は変わらないので、共分散行列の代わりに相関行列から計算してよい。

$Y$ が 1 変数のときの重相関係数

$q=1$ とし、$\sigma_Y^2:=\operatorname{Var}Y>0$ とする。このとき
$$ \rho_1^2=\frac{\Sigma_{YX}\Sigma_{XX}^{-1}\Sigma_{XY}}{\sigma_Y^2}=1-\frac{\min_{\beta\in\mathbb R^p,\ c\in\mathbb R}\mathrm E\bigl[(Y-c-\beta^{\top}X)^2\bigr]}{\sigma_Y^2} $$
で、$a_1$ は最小を与える $\beta=\Sigma_{XX}^{-1}\Sigma_{XY}$ の正の定数倍である。

証明を開く

$q=1$ では $K=\Sigma_{XX}^{-1/2}\Sigma_{XY}/\sigma_Y$ は列ベクトルで、ただ 1 つの特異値は長さ $\lvert K\rvert$ なので、1 つ目の等号は thm-cca-svd から出る。特異ベクトルは $u_1=K/\lvert K\rvert$ なので $a_1=\Sigma_{XX}^{-1/2}u_1$ は $\Sigma_{XX}^{-1}\Sigma_{XY}$ の正の定数倍である。$c$ については $c=\mathrm EY-\beta^{\top}\mathrm EX$ が最小で、そのとき $\beta^*:=\Sigma_{XX}^{-1}\Sigma_{XY}$ として $\mathrm E[(Y-c-\beta^{\top}X)^2]=\sigma_Y^2-2\beta^{\top}\Sigma_{XY}+\beta^{\top}\Sigma_{XX}\beta=\sigma_Y^2-\Sigma_{YX}\Sigma_{XX}^{-1}\Sigma_{XY}+(\beta-\beta^*)^{\top}\Sigma_{XX}(\beta-\beta^*)$ と平方完成でき、$\Sigma_{XX}$ が正定値なので $\beta=\beta^*$ で最小になる。$\square$

$\rho_1$ は $Y$ と、$X$ による最良の 1 次予測との相関で、重相関係数 と呼ばれる。$\rho_1^2$ は回帰で説明される分散の割合(決定係数の母集団版)である(回帰分析)。

行列式の分解

$Z:=(X,Y)$ の共分散行列を $\Sigma$ とすると、(ii) のもとで
$$ \det\Sigma=\det\Sigma_{XX}\,\det\Sigma_{YY}\prod_{k=1}^m(1-\rho_k^2) $$
である。したがって $\Sigma$ が正定値であることと $\rho_1< 1$ は同値である。さらに $Z$ が正規分布に従うなら、$X$ と $Y$ が独立であることと $\rho_1=0$ は同値である。

$D:=\operatorname{diag}(\Sigma_{XX}^{1/2},\Sigma_{YY}^{1/2})$ とすると $\Sigma=D\begin{pmatrix}I_p&K\\K^{\top}&I_q\end{pmatrix}D$ である。右の行列の行列式は、左上のブロックによる Schur 補行列で $\det(I_q-K^{\top}K)$ に等しい。$K^{\top}K$ の固有値は $\sigma_1^2,\dots,\sigma_m^2$ と($q>m$ なら)$0$ なので、これは $\prod_k(1-\sigma_k^2)$ で、thm-cca-svd により $\prod_k(1-\rho_k^2)$ である。$\rho_k\le1$ なので、積が正であることと $\rho_1< 1$ は同値である。正規分布では、独立と $\Sigma_{XY}=0$ が同値であり(多変量正規分布)、$\Sigma_{XY}=0$ と $K=0$、すなわち $\rho_1=0$ は同値である。$\square$

独立性の尤度比検定

独立性の尤度比統計量

$z_i=(x_i,y_i)$($i=1,\dots,n$)が独立に $N_{p+q}(\mu,\Sigma)$ に従い、$\hat S:=\frac1n\sum_i(z_i-\bar z)(z_i-\bar z)^{\top}$ が正定値であるとする。帰無仮説 $H_0:\Sigma_{XY}=0$ の尤度比を $\Lambda$ とすると
$$ -2\log\Lambda=n\log\frac{\det\hat S_{XX}\det\hat S_{YY}}{\det\hat S}=-n\sum_{k=1}^m\log(1-r_k^2) $$
である。ここで $r_k$ は $\hat S$ から計算した標本正準相関である。

共分散行列についての尤度の最大化

段 1(補題)。 $d$ 次の正定値行列 $S$ を固定する。正定値行列 $\Sigma$ について $f(\Sigma):=-\log\det\Sigma-\operatorname{tr}(\Sigma^{-1}S)$ とおくと、$f(\Sigma)\le-\log\det S-d$ で、等号は $\Sigma=S$ のときに限る。実際、$S^{1/2}\Sigma^{-1}S^{1/2}$ の固有値を $\lambda_1,\dots,\lambda_d>0$ とすると $f(\Sigma)=\sum_i(\log\lambda_i-\lambda_i)-\log\det S$ で、$\log\lambda-\lambda\le-1$(等号は $\lambda=1$)だからである。
段 2(全体での最大)。 対数尤度は
$$ \ell(\mu,\Sigma)=-\frac n2\Bigl[d\log(2\pi)+\log\det\Sigma+\operatorname{tr}(\Sigma^{-1}\hat S)+(\bar z-\mu)^{\top}\Sigma^{-1}(\bar z-\mu)\Bigr]\qquad(d=p+q) $$
で、最後の項は $\mu=\bar z$ で $0$ になる。段 1 から全体での最大値は $-\frac n2[d\log(2\pi)+\log\det\hat S+d]$ である。
段 3(帰無仮説のもとでの最大)。 $\Sigma=\operatorname{diag}(\Sigma_{XX},\Sigma_{YY})$ では $\log\det\Sigma$ と $\operatorname{tr}(\Sigma^{-1}\hat S)$ がブロックごとの和に分かれ、トレースには $\hat S$ の対角ブロック $\hat S_{XX},\hat S_{YY}$ だけが現れる。段 1 を各ブロックに使うと、最大値は $-\frac n2[d\log(2\pi)+\log\det\hat S_{XX}+\log\det\hat S_{YY}+d]$ である。
段 4(結論)。 2 つの最大値の差の $2$ 倍が 1 つ目の等号である。2 つ目の等号は、prop-cca-det を $\hat S$($Z$ の経験分布の共分散行列)に使えば得られる。$\square$

$H_0$ のもとで $n\to\infty$ とすると、$-2\log\Lambda$ は自由度が母数の次元の差 $\bigl[(p+q)+\tfrac{(p+q)(p+q+1)}2\bigr]-\bigl[(p+q)+\tfrac{p(p+1)}2+\tfrac{q(q+1)}2\bigr]=pq$ のカイ二乗分布に分布収束する。これは一般の尤度比検定の極限定理(ER10 §8.2.5、p. 456)の場合で、この記事では証明しない。$\Lambda$ そのもの $\prod_k(1-r_k^2)^{n/2}$ は正準相関だけで決まる。

主成分分析との比較

主成分分析正準相関分析
扱う変数1 組 $X$2 組 $X,Y$
最大化するもの$\operatorname{Var}(a^{\top}X)$($\lvert a\rvert=1$)$\operatorname{corr}(a^{\top}X,b^{\top}Y)$
解く問題$\Sigma_{XX}$ の固有値分解$K=\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1/2}$ の特異値分解
単位の取り替え結果が変わる結果が変わらない(prop-cca-invariance)
1 組の中の構造分散の大きい方向を見る白色化で消える

主成分分析は 1 組の中で分散の大きい方向を探すので、変数の単位に依存する。正準相関分析は白色化で各組の中の相関と単位をいったん消し、2 組のあいだの関係だけを取り出す。その代わり、分散の小さい方向にも重みがかかり、標本が少ないと不安定になる(prop-cca-highdim)。

計算の手順

  1. 中心化する。 $x_i-\bar x$、$y_i-\bar y$ を作る。
  2. 共分散行列を作る。 $S_{XX},S_{YY},S_{XY}$。$S_{XX},S_{YY}$ が正定値かを確かめる。$n$ が $p+q$ に比べて小さければ、ここで止める(prop-cca-highdim)。
  3. 白色化する。 $S_{XX}=R_X^{\top}R_X$、$S_{YY}=R_Y^{\top}R_Y$ と Cholesky分解 し、$\tilde K:=R_X^{-\top}S_{XY}R_Y^{-1}$ を作る(正定値な平方根の代わりに Cholesky の因子を使っても、特異値は同じで、係数は $a_k=R_X^{-1}u_k$ になる)。
  4. 特異値分解する。 $\tilde K=\sum_kr_ku_kv_k^{\top}$。$r_k$ が標本正準相関である。
  5. 係数に戻す。 $a_k=R_X^{-1}u_k$、$b_k=R_Y^{-1}v_k$。$a_k^{\top}S_{XX}a_k=1$ で確かめる。
  6. 判定する。 正規性が見込めるなら $-n\sum_{k\ge j}\log(1-r_k^2)$ で残りの相関の有無を調べる($j=1$ が thm-cca-lrt)。
    共分散行列を作らずに、中心化したデータ行列を $\tilde X=Q_XR_X$、$\tilde Y=Q_YR_Y$($Q_X^{\top}Q_X=I$、$Q_Y^{\top}Q_Y=I$)と QR 分解し、$Q_X^{\top}Q_Y$ を特異値分解してもよい。特異値が標本正準相関で、係数は $R_X^{-1}u_k$、$R_Y^{-1}v_k$ である(Mur25 §32.2.2.2、pp. 1053–1054)。$\tilde X^{\top}\tilde X=R_X^{\top}R_X$ なので、これは手順 3 と同じ計算を、データ行列から直接行うものである。
    図: 独立な X と Y(p=q=5)で、最大の標本正準相関 r1 の中央値と 5 パーセントから 95 パーセントの範囲を、標本の大きさ n を横軸(対数)にして描いたグラフ。n が 10 では r1 は 1 に等しく、n が 50 でも中央値は約 0.51、n が 500 で約 0.16 まで下がる。 図: 独立な X と Y(p=q=5)で、最大の標本正準相関 r1 の中央値と 5 パーセントから 95 パーセントの範囲を、標本の大きさ n を横軸(対数)にして描いたグラフ。n が 10 では r1 は 1 に等しく、n が 50 でも中央値は約 0.51、n が 500 で約 0.16 まで下がる。

例題

2 変数どうしの正準相関

$\Sigma_{XX}=\begin{pmatrix}1&0.5\\0.5&1\end{pmatrix}$、$\Sigma_{YY}=I_2$、$\Sigma_{XY}=\begin{pmatrix}0.5&0.2\\0.1&0.4\end{pmatrix}$(全体の共分散行列の固有値は $0.33620,0.61933,1.14209,1.90237$ で正定値)の正準相関を求める。
使う公式:thm-cca-svd の 4、prop-cca-det。
答え:$M=\Sigma_{XX}^{-1}\Sigma_{XY}\Sigma_{YX}=\begin{pmatrix}0.30&0.06\\-0.02&0.14\end{pmatrix}$ で、固有値は $0.22\pm\sqrt{0.0052}$。よって $\rho_1=\sqrt{0.29211}\approx0.54047$、$\rho_2=\sqrt{0.14789}\approx0.38456$。第 1 の正準係数は $a_1\approx(1.06250,-0.13970)$、$b_1\approx(0.95709,0.28978)$。$(1-\rho_1^2)(1-\rho_2^2)=1-0.44+0.0432=0.6032$ は $\det\Sigma/(\det\Sigma_{XX}\det\Sigma_{YY})$ に等しい。

途中の計算を開く

$\Sigma_{XX}^{-1}=\frac43\begin{pmatrix}1&-0.5\\-0.5&1\end{pmatrix}$、$\Sigma_{XY}\Sigma_{YX}=\begin{pmatrix}0.29&0.13\\0.13&0.17\end{pmatrix}$ から $M$ を得る。$\operatorname{tr}M=0.44$、$\det M=0.042+0.0012=0.0432$ なので固有値は $\lambda^2-0.44\lambda+0.0432=0$ の根である。$\Sigma_{XX}$ は正則なので、$\rho_k^2$ は $M$ の固有値そのものである。個々の相関係数の最大は $\operatorname{corr}(X_1,Y_1)=0.5$ で、$\rho_1$ はそれより大きい。

共通因子のモデル

$Z,\varepsilon_1,\dots,\varepsilon_p,\delta_1,\dots,\delta_q$ が無相関で $\operatorname{Var}Z=1$、$\operatorname{Var}\varepsilon_i=\sigma^2$、$\operatorname{Var}\delta_j=\tau^2$ のとき、$X_i=Z+\varepsilon_i$、$Y_j=Z+\delta_j$ の正準相関を求める。
使う公式:thm-cca-svd。
答え:$\rho_1=\sqrt{\dfrac{pq}{(\sigma^2+p)(\tau^2+q)}}$、$\rho_2=\dots=\rho_m=0$ で、$a_1$ は $(1,\dots,1)$ の正の定数倍。$p=3$、$q=2$、$\sigma^2=\tau^2=1$ では $\rho_1=1/\sqrt2\approx0.70711$ で、1 組の変数の相関 $\operatorname{corr}(X_i,Y_j)=0.5$ より大きい。

途中の計算を開く

$\Sigma_{XY}=\mathbf 1_p\mathbf 1_q^{\top}$ は階数 $1$ なので $K$ も階数 $1$ で、特異値は $\lvert\Sigma_{XX}^{-1/2}\mathbf 1_p\rvert\,\lvert\Sigma_{YY}^{-1/2}\mathbf 1_q\rvert$ の 1 つだけである。$\Sigma_{XX}=\sigma^2I+\mathbf 1\mathbf 1^{\top}$ は $\mathbf 1$ を固有値 $\sigma^2+p$ の固有ベクトルにもつので $\mathbf 1^{\top}\Sigma_{XX}^{-1}\mathbf 1=p/(\sigma^2+p)$。$Y$ も同様。$U_1$ は $X$ の平均に比例し、平均をとって雑音を減らすほど $Z$ との相関が上がる。

重相関係数

$X=(X_1,X_2)$ の相関係数が $0.5$、$\operatorname{corr}(X_1,Y)=0.6$、$\operatorname{corr}(X_2,Y)=0.5$ のとき、$\rho_1$ を求める。
使う公式:prop-cca-multiple(相関行列でよいことは prop-cca-invariance)。
答え:$\rho_1^2=c^{\top}R^{-1}c=0.31/0.75\approx0.41333$、$\rho_1\approx0.64291$。最良の 1 次予測の係数は $R^{-1}c\approx(0.46667,0.26667)$(標準化した変数で)。

標本での独立性の検定

ex-cca-two の正規分布から $n=50$ 個の標本を乱数の種 $723$ で生成すると、標本正準相関は $r_1\approx0.54283$、$r_2\approx0.32526$ であった。
使う公式:thm-cca-lrt。
答え:$-2\log\Lambda=-50\bigl(\log(1-r_1^2)+\log(1-r_2^2)\bigr)\approx23.045$、$\chi^2_4$ による $p$ 値は $0.00012$ で、独立性を棄却する。独立な正規分布($n=50$)で同じ検定を $2$ 万回繰り返すと、名目 $5\%$ の棄却率は $0.0684$ で、この大きさでは $\chi^2_4$ の近似がやや甘い。

使える条件と反例

標本が少ないと標本正準相関は 1 になる

中心化したデータ行列 $\tilde X$($n\times p$)と $\tilde Y$($n\times q$)の階数がそれぞれ $p$、$q$ で、$n\le p+q$ とする。このとき $r_1=1$ である。

$\tilde X$、$\tilde Y$ の列は各列の和が $0$ なので、$\mathbf 1_n$ に直交する $n-1$ 次元の部分空間 $W$ に入る。列空間の次元の和は $p+q>n-1=\dim W$ なので、2 つの列空間は $0$ でないベクトル $w=\tilde Xa=\tilde Yb$ を共有する。標本の共分散で $a^{\top}S_{XX}a=b^{\top}S_{YY}b=a^{\top}S_{XY}b=\lvert w\rvert^2/n>0$ なので、$a^{\top}x$ と $b^{\top}y$ の標本相関は $1$ である。thm-cca-svd の 1 から $r_1\le1$ なので $r_1=1$。$\square$

各行は thm-cca-svd とその後の命題の仮定を 1 つだけ外す。

外す条件反例成り立たなくなること
(ii) 正則性$X=(Z,Z)$、$Y=Z$$\Sigma_{XX}$ が正則でなく $K$ が定義できない。$a=(1,-1)$ で $\operatorname{Var}(a^{\top}X)=0$ となり相関が定義できない
(iii) 正規性(独立性との同値)$X\sim N(0,1)$、$Y=X^2-1$$\Sigma_{XY}=\mathrm E[X^3]=0$ で $\rho_1=0$ だが、$Y$ は $X$ の関数で独立でない(prop-cca-det の最後の主張が成り立たない)
(iv) 標本の大きさ独立な $X,Y$($p=q=5$)、$n=10$母集団の正準相関は $0$ だが $r_1=1$(prop-cca-highdim、図)
変換が 1 次$(X,Y)$ は相関 $0.8$ の標準 2 変量正規分布、$X'=e^X$$\rho_1(X',Y)=0.8/\sqrt{e-1}\approx0.61030$ で、$\rho_1(X,Y)=0.8$ から変わる(prop-cca-invariance が使えない)
(v) 正規性(検定)$X=UR$、$Y=VR$($U,V,R$ は独立、$U,V\sim N(0,1)$、$R^2$ は平均 $1$ の指数分布)$\Sigma_{XY}=0$ だが $-2\log\Lambda$ の極限は $2\chi^2_1$。名目 $5\%$ の大きさの極限は $0.16578$
反例の確かめ
確かめを開く

4 行目:$Y=0.8X+0.6W$($W$ は独立な標準正規)とすると $\operatorname{Cov}(e^X,Y)=0.8\,\mathrm E[Xe^X]=0.8e^{1/2}$、$\operatorname{Var}(e^X)=e(e-1)$ なので相関は $0.8/\sqrt{e-1}$。$p=q=1$ では正準相関は相関係数の絶対値である。

5 行目:$\mathrm E[XY]=\mathrm E[U]\mathrm E[V]\mathrm E[R^2]=0$。$p=q=1$ では $-2\log\Lambda=-n\log(1-r^2)$ で、$r\to0$ なので $nr^2$ と同じ極限をもつ。中心極限定理から $\sqrt n\cdot\frac1n\sum_ix_iy_i$ は $N(0,\mathrm E[X^2Y^2])$ に分布収束し、平均を引く補正と分母 $\hat S_{XX}\hat S_{YY}\to\mathrm E[R^2]^2=1$ は Slutsky の定理(確率変数の収束)で消える。$\mathrm E[X^2Y^2]=\mathrm E[R^4]=2$ なので $nr^2\to2\chi^2_1$ で、大きさの極限は $P(\chi^2_1>3.8415/2)\approx0.16578$。乱数の種 $20261108$、各 $2$ 万回の模擬で $n=200$ が $0.163$、$n=2000$ が $0.168$(正規分布なら $n=200$ で $0.051$)。

よくある誤り

誤り正しくはなぜ
正準係数の大きさで変数の重要さを判断する係数は他の変数との相関と単位に左右される。正準変量と各変数の相関も見るprop-cca-invariance の係数の変換
$\rho_1=0$ なら 2 組は独立とする1 次の関係がないだけ。独立と言えるのは正規分布のとき反例の表の 2 行目
変数の数に近い標本で $r_1$ が大きいことを関係の証拠にする$n\le p+q$ では必ず $r_1=1$。$n$ が十分大きいことを確かめるprop-cca-highdim
$\rho_2$ を「$\rho_1$ の次に大きい個々の相関」と考える$\rho_2$ は第 1 の正準変量と無相関という制約の下での最大def-cca-main
正規性を検討せずに $\chi^2_{pq}$ で判定する裾の重い分布では大きさが大きくずれる反例の表の 5 行目

補足

関連する方法

判別分析。 $Y$ を群のラベルの指示変数の組にとると、正準相関分析は群の違いをもっともよく分ける方向を探す問題になり、線形判別分析 の判別方向と関係する。縮小と回帰。 複数の目的変数の回帰で、正準変量を使って係数の階数を落とす縮小ランク回帰がある(ESL17 §3.7、pp. 84–85)。確率モデル。 共通の潜在変数と各組に固有の潜在変数をもつ線形 Gauss モデルの最尤推定が、正準相関分析と同じ解を与えるという見方がある(Mur25 §28.3.4.3、pp. 955–956)。相関行列の比較。 標本正準相関の 2 乗の平均は、2 つの表現の類似度の尺度にも使われる(Mur25 §32.2.2.2、p. 1054)。

関連項目

参考文献

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する