線形判別分析(linear discriminant analysis)とは、特徴量 $x\in\mathbb{R}^p$ から観測の属する群を当てる方法で、各群が共通の共分散行列 $\Sigma$ をもつ多変量正規分布に従うとき、誤判別の確率を最小にする規則が 1 次関数 $\delta_k(x)=x^{\mathsf T}\Sigma^{-1}\mu_k-\frac12\mu_k^{\mathsf T}\Sigma^{-1}\mu_k+\log\pi_k$ の比較になることに基づく。群間と群内の平方和の比を最大にする Fisher の基準も同じ方向を与え、多群では一般化固有値問題により高々 $K-1$ 本の正準判別変数を得る。2 群の誤判別の確率は Mahalanobis 距離 $\Delta$ により $\Phi(-\Delta/2)$ である。
$p$ 個の数値の特徴量 $x\in\mathbb{R}^p$ から、観測が $K$ 個の群のどれに属するかを当てたい。花弁の長さと幅から花の種を、検査値から病気の有無を判定する、といった問題である。線形判別分析(linear discriminant analysis, LDA)は、各群の特徴量が 共通の共分散行列 をもつ多変量正規分布に従うと仮定して、誤判別の確率が最小になる規則を求める方法である。この仮定の下では、最適な規則は $x$ の 1 次関数 $\delta_k(x)$ を比べるだけになり、群の境界は超平面になる。
同じ 1 次関数は、正規分布を仮定しない別の考えからも出てくる。R. A. Fisher は「群の平均の散らばり(群間分散)を群の中の散らばり(群内分散)に比べて最大にする 1 次結合 $a^{\mathsf T}x$」を求め、それが正規分布の下での最適な規則と同じ方向を与えることが分かる(HTF09 p. 114, p. 116)。群が 3 つ以上なら、この基準は一般化固有値問題になり、データを高々 $K-1$ 次元に落として眺める道具(正準判別)にもなる。
この記事では、誤判別の確率を最小にする規則、正規分布の仮定から 1 次の判別関数が出ること、Fisher の基準の最大化、多群の正準判別、誤判別の確率の公式を証明し、標本での計算の手順と例を示す。
群のラベルを確率変数 $G\in\{1,\dots,K\}$、特徴量を $X\in\mathbb{R}^p$ とする。群 $k$ の 事前確率 を $\pi_k:=P(G=k)>0$ とし、群 $k$ の中で $X$ は密度 $f_k$ をもつとする。判別規則 とは可測写像 $h\colon\mathbb{R}^p\to\{1,\dots,K\}$ のことで、$P(h(X)\ne G)$ をその 誤判別の確率 という。
各 $x$ で $\pi_kf_k(x)$ を最大にする $k$(最大が複数あれば番号の最小のもの)を $h^*(x)$ とおいた規則 $h^*$ を Bayes 判別規則 という。Bayes の定理により、$\pi_kf_k(x)$ を比べることは事後確率 $P(G=k\mid X=x)=\pi_kf_k(x)/\sum_l\pi_lf_l(x)$ を比べることと同じである。
群 $k$ の中で $X$ が多変量正規分布 $N_p(\mu_k,\Sigma)$ に従い、共分散行列 $\Sigma$ は正定値で 全群に共通 とする。このとき
$$
\delta_k(x):=x^{\mathsf T}\Sigma^{-1}\mu_k-\frac12\mu_k^{\mathsf T}\Sigma^{-1}\mu_k+\log\pi_k
$$
を群 $k$ の 線形判別関数 という。共分散行列を群ごとに $\Sigma_k$ とする場合の $\delta^{\mathrm Q}_k(x):=-\frac12\log\det\Sigma_k-\frac12(x-\mu_k)^{\mathsf T}\Sigma_k^{-1}(x-\mu_k)+\log\pi_k$ を 2 次判別関数 といい、これを使う方法を 2 次判別分析(QDA)という。
標本 $(x_i,g_i)$($i=1,\dots,N$)から推定するときは、群 $k$ の個数を $N_k$ として次の量を使う。
$\hat\pi_k:=N_k/N$、$\hat\mu_k:=\frac1{N_k}\sum_{g_i=k}x_i$、$\bar x:=\frac1N\sum_ix_i$ とし、
$$
W:=\sum_{k=1}^K\sum_{g_i=k}(x_i-\hat\mu_k)(x_i-\hat\mu_k)^{\mathsf T},\qquad B:=\sum_{k=1}^KN_k(\hat\mu_k-\bar x)(\hat\mu_k-\bar x)^{\mathsf T}
$$
をそれぞれ 群内平方和行列、群間平方和行列 という。共通の共分散行列の推定量は $\hat\Sigma:=W/(N-K)$ とする(HTF09 p. 109)。$\delta_k$ の $\pi_k,\mu_k,\Sigma$ をこれらで置き換えたものを $\hat\delta_k$ と書く。
この記事の結果を使ってよい条件は次のとおりである。
| 量 | 式 | 使える条件 | 根拠 |
|---|---|---|---|
| Bayes 判別規則 | $\arg\max_k\pi_kf_k(x)$ が誤判別の確率を最小にする | 密度 $f_k$ がある | thm-lda-bayes-optimal |
| 線形判別関数 | $\arg\max_k\pi_kf_k(x)=\arg\max_k\delta_k(x)$ | (ii) | thm-lda-linear |
| 事後確率 | $P(G=k\mid X=x)=e^{\delta_k(x)}/\sum_le^{\delta_l(x)}$ | (ii) | thm-lda-linear |
| 2 群の境界 | $(\mu_1-\mu_2)^{\mathsf T}\Sigma^{-1}\bigl(x-\frac{\mu_1+\mu_2}2\bigr)=\log\frac{\pi_2}{\pi_1}$ | (ii) | thm-lda-linear |
| 誤判別の確率(2 群、等しい事前確率) | $\Phi(-\Delta/2)$、$\Delta^2=(\mu_1-\mu_2)^{\mathsf T}\Sigma^{-1}(\mu_1-\mu_2)$ | (ii) | prop-lda-error |
| 平方和の分解 | $T:=\sum_i(x_i-\bar x)(x_i-\bar x)^{\mathsf T}=W+B$ | なし | prf-thm-lda-canonical |
| Fisher の方向(2 群) | $a\propto W^{-1}(\hat\mu_1-\hat\mu_2)$ | $W$ が正定値 | thm-lda-fisher |
| 正準判別の方向 | $Ba=\lambda Wa$ の固有ベクトル、$0$ でない $\lambda$ は高々 $K-1$ 個 | $W$ が正定値 | thm-lda-canonical |
| 最小二乗との関係(2 群) | 群を $\pm1$ などで符号化した回帰の係数 $\propto W^{-1}(\hat\mu_1-\hat\mu_2)$ | $T$ が正定値 | prop-lda-least-squares |
| 2 次判別関数 | $\arg\max_k\pi_kf_k=\arg\max_k\delta^{\mathrm Q}_k$ | 各群が正規分布 | thm-lda-linear の証明と同じ計算 |
$\Phi$ は標準正規分布の分布関数である。$\hat\Sigma$ を $N-K$ でなく $N$ で割る規約もあり、そのときは $\hat\delta_k$ の差のうち $\log\hat\pi_k$ 以外の部分が $N/(N-K)$ 倍になる(境界の向きは同じだが、事前確率が違うときの境界の位置と、事後確率の値が変わる。ex-lda-sample)。
どの判別規則 $h$ についても $P(h(X)\ne G)\ge P(h^*(X)\ne G)$ であり、
$$
P(h^*(X)\ne G)=1-\int_{\mathbb{R}^p}\max_k\pi_kf_k(x)\,dx
$$
である。
$P(h(X)=G)=\sum_kP(G=k,\ h(X)=k)=\sum_k\pi_k\int_{\{h=k\}}f_k(x)\,dx$ である。集合 $\{h=k\}$($k=1,\dots,K$)は $\mathbb{R}^p$ を分割するので、
$$
P(h(X)=G)=\int_{\mathbb{R}^p}\pi_{h(x)}f_{h(x)}(x)\,dx\le\int_{\mathbb{R}^p}\max_k\pi_kf_k(x)\,dx
$$
であり、$h=h^*$ のとき被積分関数が各点で一致するので等号が成り立つ。補集合の確率をとればよい。$\square$
def-lda-model の仮定の下で、$k$ によらない $x$ の関数 $c(x)$ があって $\log\bigl(\pi_kf_k(x)\bigr)=\delta_k(x)+c(x)$ である。したがって
多変量正規分布 の定理「多変量正規分布の密度」により
$$
\log f_k(x)=-\frac p2\log(2\pi)-\frac12\log\det\Sigma-\frac12(x-\mu_k)^{\mathsf T}\Sigma^{-1}(x-\mu_k)
$$
である。$\Sigma^{-1}$ は対称なので $(x-\mu_k)^{\mathsf T}\Sigma^{-1}(x-\mu_k)=x^{\mathsf T}\Sigma^{-1}x-2x^{\mathsf T}\Sigma^{-1}\mu_k+\mu_k^{\mathsf T}\Sigma^{-1}\mu_k$ と展開でき、
$$
\log\bigl(\pi_kf_k(x)\bigr)=\delta_k(x)+c(x),\qquad c(x):=-\frac p2\log(2\pi)-\frac12\log\det\Sigma-\frac12x^{\mathsf T}\Sigma^{-1}x
$$
を得る。$c(x)$ は $k$ によらないので、$\pi_kf_k(x)$ の大小は $\delta_k(x)$ の大小と同じであり 1 が従う。$\pi_kf_k(x)=e^{c(x)}e^{\delta_k(x)}$ を Bayes の定理の式に入れると $e^{c(x)}$ が約分されて 2 が従う。$\delta_k(x)-\delta_l(x)=x^{\mathsf T}\Sigma^{-1}(\mu_k-\mu_l)+(\text{定数})$ なので 3 が従う。共分散行列が群ごとに違えば $-\frac12x^{\mathsf T}\Sigma_k^{-1}x$ と $-\frac12\log\det\Sigma_k$ が $k$ に依存して残り、同じ計算で $\delta^{\mathrm Q}_k$ が出る。$\square$
$K=2$、事前確率が等しく、def-lda-model の仮定が成り立つとする。$\Delta:=\sqrt{(\mu_1-\mu_2)^{\mathsf T}\Sigma^{-1}(\mu_1-\mu_2)}$(Mahalanobis 距離)とおくと、Bayes 判別規則の誤判別の確率は $\Phi(-\Delta/2)$ である。事前確率が $\pi_1,\pi_2$ なら、$c:=\log(\pi_2/\pi_1)$ として $\pi_1\Phi\bigl(\frac{c}{\Delta}-\frac\Delta2\bigr)+\pi_2\Phi\bigl(-\frac{c}{\Delta}-\frac\Delta2\bigr)$ である($\Delta>0$ とする)。
$a:=\Sigma^{-1}(\mu_1-\mu_2)$、$m:=\frac{\mu_1+\mu_2}2$、$Y:=a^{\mathsf T}(X-m)$ とおくと、thm-lda-linear の 3 から規則は「$Y>c$ なら群 1」である。群 1 の中では $Y$ は平均 $a^{\mathsf T}(\mu_1-m)=\frac12a^{\mathsf T}(\mu_1-\mu_2)=\frac{\Delta^2}2$、分散 $a^{\mathsf T}\Sigma a=\Delta^2$ の正規分布に従う。群 2 の中では平均 $-\frac{\Delta^2}2$、分散 $\Delta^2$ である。よって誤判別の確率は
$$
\pi_1P\Bigl(\tfrac{\Delta^2}2+\Delta Z\le c\Bigr)+\pi_2P\Bigl(-\tfrac{\Delta^2}2+\Delta Z>c\Bigr)=\pi_1\Phi\Bigl(\frac c\Delta-\frac\Delta2\Bigr)+\pi_2\Phi\Bigl(-\frac c\Delta-\frac\Delta2\Bigr)
$$
($Z$ は標準正規分布)である。$c=0$ なら $\Phi(-\Delta/2)$ になる。$\square$
$a\in\mathbb{R}^p$ について、1 次結合 $z=a^{\mathsf T}x$ の群間の平方和は $a^{\mathsf T}Ba$、群内の平方和は $a^{\mathsf T}Wa$ である。Fisher の基準は、その比 $J(a):=a^{\mathsf T}Ba/a^{\mathsf T}Wa$ を最大にする $a$ を探すことである(HTF09 (4.15)、p. 116、Bis06 (4.26)、p. 189)。$J$ は Rayleigh商 の一般化で、$a$ を定数倍しても変わらない。
$K=2$、$W$ が正定値、$d:=\hat\mu_1-\hat\mu_2\ne0$ とする。このとき $B=\frac{N_1N_2}{N}dd^{\mathsf T}$ であり、$a\ne0$ について
$$
J(a)=\frac{N_1N_2}N\cdot\frac{(a^{\mathsf T}d)^2}{a^{\mathsf T}Wa}\le\frac{N_1N_2}N\,d^{\mathsf T}W^{-1}d
$$
が成り立ち、等号は $a$ が $W^{-1}d$ の $0$ でない定数倍のときに限る。とくに Fisher の方向は、標本で推定した線形判別関数の差 $\hat\delta_1-\hat\delta_2$ の係数ベクトル $\hat\Sigma^{-1}d$ と同じ向きである。
$\bar x=\frac{N_1\hat\mu_1+N_2\hat\mu_2}N$ から $\hat\mu_1-\bar x=\frac{N_2}Nd$、$\hat\mu_2-\bar x=-\frac{N_1}Nd$ で、$B=N_1\frac{N_2^2}{N^2}dd^{\mathsf T}+N_2\frac{N_1^2}{N^2}dd^{\mathsf T}=\frac{N_1N_2}Ndd^{\mathsf T}$ である。よって $a^{\mathsf T}Ba=\frac{N_1N_2}N(a^{\mathsf T}d)^2$ である。$W$ は正定値なので $\langle u,v\rangle_W:=u^{\mathsf T}Wv$ は内積である。$a^{\mathsf T}d=\langle a,W^{-1}d\rangle_W$ に Cauchy–Schwarz の不等式を当てると
$$
(a^{\mathsf T}d)^2\le\langle a,a\rangle_W\,\langle W^{-1}d,W^{-1}d\rangle_W=(a^{\mathsf T}Wa)(d^{\mathsf T}W^{-1}d)
$$
で、等号は $a$ と $W^{-1}d$ が 1 次従属のときに限る。両辺を $a^{\mathsf T}Wa>0$ で割れば主張を得る。$\hat\Sigma^{-1}d=(N-K)W^{-1}d$ は $W^{-1}d$ の正の定数倍である。$\square$
正規分布を仮定せずに出した方向が、正規分布を仮定した最適な規則の向きと一致する。ただし切る位置(定数項)は Fisher の基準からは決まらない。
$W$ が正定値とする。$W^{-1/2}BW^{-1/2}$ の固有値を $\lambda_1\ge\cdots\ge\lambda_p\ (\ge0)$ とすると、$Ba_j=\lambda_jWa_j$ と、$a_i^{\mathsf T}Wa_j=1$($i=j$)、$0$($i\ne j$)を満たす $a_1,\dots,a_p$ があり、次が成り立つ。
$W$ は正定値対称なので、正定値対称な平方根 $W^{1/2}$ がある。$C:=W^{-1/2}BW^{-1/2}$ は対称で半正定値($u^{\mathsf T}Cu=(W^{-1/2}u)^{\mathsf T}B(W^{-1/2}u)\ge0$)なので、正規直交な固有ベクトル $u_1,\dots,u_p$(固有値 $\lambda_1\ge\cdots\ge\lambda_p\ge0$)をとれる。$a_j:=W^{-1/2}u_j$ とおくと $a_i^{\mathsf T}Wa_j=u_i^{\mathsf T}u_j$ は $i=j$ で $1$、それ以外で $0$、$Ba_j=W^{1/2}Cu_j=\lambda_jW^{1/2}u_j=\lambda_jWa_j$ である。
$a\ne0$ に $b:=W^{1/2}a$ を対応させると $J(a)=b^{\mathsf T}Cb/b^{\mathsf T}b$ である。$b=\sum_jc_ju_j$ と展開すると $J(a)=\sum_j\lambda_jc_j^2/\sum_jc_j^2\le\lambda_1$ で、$b=u_1$ で等号が成り立つ。これが 1 である。$a^{\mathsf T}Wa_i=b^{\mathsf T}u_i=c_i$ なので、2 の制約は $c_1=\cdots=c_{j-1}=0$ であり、そのとき $J(a)=\sum_{l\ge j}\lambda_lc_l^2/\sum_{l\ge j}c_l^2\le\lambda_j$、等号は $b=u_j$ で成り立つ。
3:群 $k$ の $x_i$ について $x_i-\bar x=(x_i-\hat\mu_k)+(\hat\mu_k-\bar x)$ と分けて外積をとると、交差項は $\sum_{g_i=k}(x_i-\hat\mu_k)=0$ により消え、$W+B$ を得る。$v_k:=\hat\mu_k-\bar x$ とおくと $B=\sum_kN_kv_kv_k^{\mathsf T}$ の列空間は $v_1,\dots,v_K$ の張る空間に含まれ、$\sum_kN_kv_k=0$ なのでその次元は $K-1$ 以下である。$C$ の階数は $B$ の階数に等しく、$0$ でない固有値は $K-1$ 個以下である。$\square$
$\lambda_j$ は第 $j$ 正準判別変数の上での群間と群内の平方和の比であり、$\lambda_1/\sum_j\lambda_j$ などで各変数の寄与を測る。群の平均が張る($W$ で測った)高々 $K-1$ 次元の部分空間に射影しても、線形判別関数の比較に必要な情報は失われない(HTF09 §4.3.3、pp. 113–116、Bis06 §4.1.6、p. 192)。
$K=2$、$W$ が正定値とし、群 1 の $y_i$ を $t_1$、群 2 の $y_i$ を $t_2$($t_1\ne t_2$)として、$y_i$ を $(1,x_i)$ に最小二乗で回帰する。傾きの係数ベクトルは
$$
\beta=\frac{(N_1N_2/N)(t_1-t_2)}{1+(N_1N_2/N)\,d^{\mathsf T}W^{-1}d}\,W^{-1}d
$$
であり、Fisher の方向と同じ向きである(Bis06 §4.1.5、pp. 189–190 は $t_1=N/N_1$、$t_2=-N/N_2$ の場合)。
定数項を $\beta_0$ とすると、$\beta_0$ についての正規方程式から $\beta_0=\bar y-\bar x^{\mathsf T}\beta$ であり、これを代入すると傾き $\beta$ は $\sum_i\bigl((y_i-\bar y)-(x_i-\bar x)^{\mathsf T}\beta\bigr)^2$ を最小にするもの、すなわち中心化した正規方程式 $T\beta=\sum_i(x_i-\bar x)(y_i-\bar y)$ の解である($T=W+B$ は $W$ が正定値なので正定値で、解はただ 1 つ)。右辺は $\sum_i(x_i-\bar x)y_i=t_1N_1(\hat\mu_1-\bar x)+t_2N_2(\hat\mu_2-\bar x)=\frac{N_1N_2}N(t_1-t_2)d$ である(prf-thm-lda-fisher の $\hat\mu_k-\bar x$ の式)。$T=W+\frac{N_1N_2}Ndd^{\mathsf T}$ に Sherman–Morrison の公式 $(W+cdd^{\mathsf T})^{-1}d=W^{-1}d/(1+cd^{\mathsf T}W^{-1}d)$($W+cdd^{\mathsf T}$ を左から掛けて確かめられる)を使えばよい。$\square$
$p=2$、$\mu_1=(2,0)^{\mathsf T}$、$\mu_2=(0,0)^{\mathsf T}$、$\Sigma=\begin{pmatrix}1&0.8\\0.8&1\end{pmatrix}$、事前確率は等しいとする。
使う公式:thm-lda-linear の 3、prop-lda-error。
答え:$a=\Sigma^{-1}(\mu_1-\mu_2)=\bigl(\frac{50}9,-\frac{40}9\bigr)^{\mathsf T}$、境界は $5x_1-4x_2=5$、$\Delta^2=\frac{100}9$、誤判別の確率は $\Phi(-\frac53)\approx0.04779$ である。平均の差の方向 $(1,0)$ に射影して中点 $x_1=1$ で切る規則では $\Phi(-1)\approx0.15866$ で、3 倍以上悪い。事前確率が $\pi_1=0.7$、$\pi_2=0.3$ なら、境界は $a^{\mathsf T}x=\frac{50}9+\log\frac37\approx4.70826$ に平行移動し、誤判別の確率は $\approx0.04283$(群 1 の中で $0.02737$、群 2 の中で $0.07890$)である。
$\det\Sigma=0.36$、$\Sigma^{-1}=\frac1{0.36}\begin{pmatrix}1&-0.8\\-0.8&1\end{pmatrix}$ で $a=\frac1{0.36}(2,-1.6)^{\mathsf T}$。$\Delta^2=a^{\mathsf T}(\mu_1-\mu_2)=\frac2{0.36}=\frac{100}9$、$\Delta=\frac{10}3$。境界 $a^{\mathsf T}(x-(1,0)^{\mathsf T})=0$ に $\frac9{10}$ を掛けて $5x_1-4x_2=5$。平均の差の方向では $x_1$ が各群で分散 $1$、平均 $2$ と $0$ なので中点で切った誤りは $\Phi(-1)$。事前確率つきは $c=\log\frac37\approx-0.84730$ を prop-lda-error の式に入れる。
図: 2つの群の点の散布図と、それぞれの95%の等確率楕円。楕円は右上がりに細長い。実線の境界 5x1-4x2=5 は楕円の長軸に沿って2群を分け、縦の破線 x1=1 は2つの楕円の重なりを大きく横切っている
群 1 が $(1,2),(2,3),(3,3),(2,4)$、群 2 が $(4,1),(5,2),(6,2),(5,3)$ の $N=8$ 点。新しい点 $x_0=(3.5,3)$ を判別する。
使う公式:def-lda-scatter、手順 1〜4、thm-lda-fisher。
答え:$\hat\mu_1=(2,3)$、$\hat\mu_2=(5,2)$、$W=\begin{pmatrix}4&2\\2&4\end{pmatrix}$、$\hat\Sigma=W/6$、$a=\hat\Sigma^{-1}(\hat\mu_1-\hat\mu_2)=(-7,5)^{\mathsf T}$。規則は「$-7x_1+5x_2>-12$ なら群 1」で、$x_0$ では $-9.5>-12$ なので群 1。$\hat\delta_1-\hat\delta_2=2.5$、事後確率 $P(G=1\mid x_0)=1/(1+e^{-2.5})\approx0.92414$ である。Fisher の基準の最大値は $J=\frac{N_1N_2}N\cdot\frac{13}3=\frac{26}3$ で、平均の差の方向では $\frac{N_1N_2}N\cdot\frac{25}7=\frac{50}7$ にとどまる。
群 1 の偏差 $(-1,-1),(0,0),(1,0),(0,1)$ の外積の和は $\begin{pmatrix}2&1\\1&2\end{pmatrix}$、群 2 の偏差 $(-1,-1),(0,0),(1,0),(0,1)$ も同じで、$W$ はその和。$\hat\Sigma^{-1}=6W^{-1}=\begin{pmatrix}2&-1\\-1&2\end{pmatrix}$、$d=(-3,1)$ で $a=(-7,5)$。切る位置は $a^{\mathsf T}\frac{\hat\mu_1+\hat\mu_2}2=a^{\mathsf T}(3.5,2.5)=-12$(事前確率は等しい)。$d^{\mathsf T}W^{-1}d=\frac{13}3$、$d^{\mathsf T}d=10$、$d^{\mathsf T}Wd=28$ から $J(d)=\frac{N_1N_2}N\cdot\frac{100}{28}$。$\pm1$ で符号化した回帰の傾きは $\frac{12}{29}W^{-1}d$(prop-lda-least-squares で $\frac{2\cdot2}{1+2\cdot13/3}=\frac{12}{29}$)。共分散を $W/N$ で推定する規約では $\hat\delta_1-\hat\delta_2=2.5\times\frac86=\frac{10}3$、事後確率 $\approx0.96555$ になる。
$K=3$、$\mu_1=(0,0)$、$\mu_2=(2,0)$、$\mu_3=(4,3)$、事前確率は等しく、$\Sigma=\begin{pmatrix}1&0.5\\0.5&2\end{pmatrix}$ とする。群間の行列を $B:=\sum_k\pi_k(\mu_k-\bar\mu)(\mu_k-\bar\mu)^{\mathsf T}$、群内を $\Sigma$ として thm-lda-canonical を当てる(母集団の場合)。
使う公式:thm-lda-canonical。
答え:$\bar\mu=(2,1)$、$B=\begin{pmatrix}8/3&2\\2&2\end{pmatrix}$、一般化固有値は $\lambda_1\approx2.77285$、$\lambda_2\approx0.27477$。方向は($a^{\mathsf T}\Sigma a=1$ に正規化して)$a_1\approx(0.90059,0.15585)$、$a_2\approx(0.57601,-0.73969)$ である。第 1 正準判別変数だけで比 $\lambda_1/(\lambda_1+\lambda_2)\approx0.910$ を占めるので、3 群はほぼ 1 次元 $z_1=a_1^{\mathsf T}x$ の上で分かれる。
$\mu_k-\bar\mu$ は $(-2,-1),(0,-1),(2,2)$ で、外積の平均は $\frac13\begin{pmatrix}8&6\\6&6\end{pmatrix}$。$\det(B-\lambda\Sigma)=(\frac83-\lambda)(2-2\lambda)-(2-\frac\lambda2)^2=\frac74\lambda^2-\frac{16}3\lambda+\frac43=0$ の根が $\lambda\approx2.77285,\ 0.27477$(和は $\frac{64}{21}\approx3.04762$)。$a_j$ は $(B-\lambda_j\Sigma)a=0$ の解を $a^{\mathsf T}\Sigma a=1$ に正規化したもの。
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| 共分散行列が共通((ii)) | $p=2$、群 1 は $N(0,I)$、群 2 は $N(0,4I)$、事前確率は等しい | 平均が等しいので $\delta_1=\delta_2$ が恒等的に成り立ち、線形判別関数では誤判別の確率が $\frac12$ より下がらない。Bayes 判別規則は円 $\Vert x\Vert^2< \frac83\log4$ の内側を群 1 とする 2 次の規則で、誤判別の確率は $\approx0.26376$。thm-lda-linear の結論(Bayes 判別規則が 1 次)が成り立たない |
| 各群が正規分布((ii)) | 群 1 は $(\pm1,\pm1)$ の 4 点を中心とする $N(\cdot,0.3^2I)$ の等しい重みの混合、群 2 は $N(0,1.09I)$(平均 $0$、共分散 $1.09I$ は共通) | 線形判別関数は前の行と同じく区別できず誤判別の確率 $\frac12$、Bayes 判別規則の誤判別の確率は $\approx0.1889$。共通の共分散でも正規分布でなければ Bayes 判別規則は 1 次にならない |
| $W$ が正定値((i)) | $p=3$、群 1 が $(0,0,0),(1,0,0)$、群 2 が $(0,1,0),(1,1,1)$ | $W$ の階数は $2$ で、$u=(0,1,0)$ について $u^{\mathsf T}Wu=0$、$u^{\mathsf T}d=-1\ne0$。$J(u)$ の分母が $0$ になり、Fisher の基準は最大値をもたず(thm-lda-fisher が成り立たない)、$\hat\Sigma^{-1}$ も作れない |
1 行目:群 2 の密度は $\frac1{8\pi}e^{-\Vert x\Vert^2/8}$ で、$\log f_1-\log f_2=-\frac38\Vert x\Vert^2+\log4$ なので Bayes 判別規則は $\Vert x\Vert^2< \frac83\log4\approx3.69678$ で群 1。$\Vert X\Vert^2$ は群 1 で自由度 $2$ のカイ二乗分布(裾は $e^{-t/2}$)、群 2 でその $4$ 倍なので、誤判別の確率は $\frac12e^{-1.84839}+\frac12(1-e^{-0.46210})\approx0.26376$。外したのは共分散の共通性だけで、どちらの群も正規分布である。
2 行目:群 1 の共分散は角の点の外積の平均 $I$ に $0.3^2I$ を足した $1.09I$ で、群 2 と等しい。Bayes 判別規則の誤判別の確率 $1-\frac12\int\max(f_1,f_2)\,dx$(thm-lda-bayes-optimal で $\pi_1=\pi_2=\frac12$ としたもの)は数値積分($[-6,6]^2$ を $1200\times1200$ に分けた中点則)で $\approx0.1889$。
3 行目:群内の偏差は $(\mp\frac12,0,0)$ と $(\mp\frac12,0,\mp\frac12)$ で、第 2 座標はすべて $0$ なので $We_2=0$。$d=\hat\mu_1-\hat\mu_2=(0,-1,-\frac12)$。$N-K=2< p=3$ である。
| 誤り | 正しくは | なぜ |
|---|---|---|
| 判別の方向を平均の差 $\hat\mu_1-\hat\mu_2$ にする | $W^{-1}(\hat\mu_1-\hat\mu_2)$ | 相関があると重なりが大きい方向になる(ex-lda-population で誤りが $0.159$ 対 $0.048$) |
| 事前確率を無視して中点で切る | $\log(\pi_2/\pi_1)$ だけ境界を平行移動する | prop-lda-error |
| $\hat\Sigma$ を群ごとの共分散行列の単純平均にする | 群の大きさで重みを付けた $W/(N-K)$ | 群の大きさが違うと推定が偏る(def-lda-scatter) |
| 正準判別変数を $K$ 本以上とる | $0$ でない固有値は高々 $K-1$ 個 | thm-lda-canonical の 3 |
| 「正規分布でなければ使えない」とする | 方向は Fisher の基準で正規性なしに出る。誤判別の確率の最小性は正規分布の下でだけ保証される | thm-lda-fisher、反例の表の 2 行目 |
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する