平均値と二乗誤差

データは $1,2,3,4,10$ で、$n=5$ である。

• 平均値：$\bar x=\frac{1+2+3+4+10}5=\frac{20}5=4$。
• 偏差：$1-4=-3$、$2-4=-2$、$3-4=-1$、$4-4=0$、$10-4=6$。
• 分散：$s^2=\frac{(-3)^2+(-2)^2+(-1)^2+0^2+6^2}5=\frac{9+4+1+0+36}5=\frac{50}5=10$。
• 公式による計算：$\overline{x^2}=\frac{1+4+9+16+100}5=\frac{130}5=26$ なので、$s^2=26-4^2=10$。
  2 通りの計算は一致する。標準偏差は $s=\sqrt{10}=3.16\ldots$ である。

データは $2,4,9$ で、$n=3$ である。

• 平均値：$\bar x=\frac{2+4+9}3=\frac{15}3=5$。
• 偏差：$-3$、$-1$、$4$。
• 分散：$s^2=\frac{9+1+16}3=\frac{26}3$。
• 公式による計算：$\overline{x^2}=\frac{4+16+81}3=\frac{101}3$ なので、$s^2=\frac{101}3-25=\frac{101-75}3=\frac{26}3$。

データ $1,2,3$ について、いくつかの $a$ で $Q(a)$ を計算する。

• $Q(1)=0^2+1^2+2^2=5$。
• $Q(2)=1^2+0^2+1^2=2$。
• $Q(3)=2^2+1^2+0^2=5$。
• $Q(2.5)=1.5^2+0.5^2+0.5^2=2.25+0.25+0.25=2.75$。
  データ $2,4,9$ では、$Q(4)=4+0+25=29$、$Q(5)=9+1+16=26$、$Q(6)=16+4+9=29$ である。計算した値の中では、どちらのデータでも、平均値（$2$ と $5$）で $Q$ が最も小さい。これが偶然でないことを、この後で示す。

データ $1,2,3,4,10$ の偏差は $-3,-2,-1,0,6$ で、和は $-3-2-1+0+6=0$ である。データ $2,4,9$ の偏差は $-3,-1,4$ で、和は $0$ である。

データ $1,2,3,4,10$ では、ex-mse-first より $\bar x=4$、$\sum(x_i-\bar x)^2=50$ なので、定理は
$$ Q(a)=50+5(a-4)^2 $$
を主張する。

• $a=3$：右辺は $50+5\cdot1=55$。直接計算すると $Q(3)=2^2+1^2+0^2+1^2+7^2=4+1+0+1+49=55$。
• $a=10$：右辺は $50+5\cdot36=230$。直接計算すると $Q(10)=81+64+49+36+0=230$。
• $a=6$：右辺は $50+5\cdot4=70$。直接計算すると $Q(6)=25+16+9+4+16=70$。
• $a=4$：右辺は $50$ で、これが最小値 $5\cdot s^2=5\cdot10$ である。

ex-mse-first と ex-mse-second の「公式による計算」は、この系の使用例である。もう 1 つ、データ $3,5,7,9$ では $\bar x=6$、$\overline{x^2}=\frac{9+25+49+81}4=\frac{164}4=41$ なので $s^2=41-36=5$ である。偏差 $-3,-1,1,3$ から直接計算しても $\frac{9+1+1+9}4=5$ となる。

公正なさいころの目 $X$ は $1,\dots,6$ を確率 $\frac16$ ずつとる。$E[X]=\frac{1+2+\cdots+6}6=\frac72$ であり、分散は $V(X)=\frac{35}{12}$ である。

• $a=3$：直接計算すると $E[(X-3)^2]=\frac{4+1+0+1+4+9}6=\frac{19}6$。命題の右辺は $\frac{35}{12}+\bigl(\frac72-3\bigr)^2=\frac{35}{12}+\frac3{12}=\frac{38}{12}=\frac{19}6$。
• $a=1$：直接計算すると $E[(X-1)^2]=\frac{0+1+4+9+16+25}6=\frac{55}6$。命題の右辺は $\frac{35}{12}+\bigl(\frac52\bigr)^2=\frac{35}{12}+\frac{75}{12}=\frac{110}{12}=\frac{55}6$。
  最小値は $a=\frac72$ でとり、値は $\frac{35}{12}$ である。

区間 $[0,1]$ 上の確率密度関数 $w(t)=2t$ をもつ確率変数 $X$ を考える（区間の外では $w(t)=0$。$\int_0^12t\,dt=1$ である）。

• $E[X]=\int_0^1t\cdot2t\,dt=\Bigl[\frac23t^3\Bigr]_0^1=\frac23$。
• $E[X^2]=\int_0^1t^2\cdot2t\,dt=\Bigl[\frac12t^4\Bigr]_0^1=\frac12$。
• $V(X)=E[X^2]-(E[X])^2=\frac12-\frac49=\frac1{18}$（分散の公式は確率変数でも、命題で $a=0$ とおけば同じように得られる）。
• $E[(X-a)^2]=E[X^2]-2aE[X]+a^2=a^2-\frac43a+\frac12$。命題の右辺 $\frac1{18}+\bigl(\frac23-a\bigr)^2=\frac1{18}+\frac49-\frac43a+a^2$ も $a^2-\frac43a+\frac12$ に等しい。
  最小点は $a=\frac23$ で、最小値は $\frac1{18}$ である。この分布の中央値は $\frac1{\sqrt2}=0.707\ldots$ で、平均と異なる（確率分布の中央値）。

符号つきのずれの和 $S(a):=\sum_{i=1}^n(x_i-a)$ は、lem-mse-deviation-sum と同じ計算で $S(a)=n\bar x-na=n(\bar x-a)$ となる。データ $1,2,3$ では $S(a)=6-3a$ で、$S(10)=-24$、$S(100)=-294$ のように、$a$ を大きくするといくらでも小さくなる。したがって $S$ を最小にする $a$ は存在しない。ずれを $0$ 以上の量（2 乗や絶対値）で測るという仮定を外すと、「ずれの合計が最小になる点を中心とする」という考え方そのものが成り立たない。

ずれを合計せず、いちばん大きなずれ $D(a):=\max_i|x_i-a|$ で測る。データの最小値を $m$、最大値を $M$ とする。$a$ から最も遠いデータは $m$ か $M$ なので、$D(a)=\max(a-m,\ M-a)$ である（$a$ が区間 $[m,M]$ の外にあるときも同じ式で表せる）。2 つの数 $a-m$ と $M-a$ の和は $M-m$ なので、大きい方は $\frac{M-m}2$ 以上であり、等号は 2 つが等しいとき、すなわち $a=\frac{m+M}2$ のときだけである。
データ $1,2,3,4,10$ では、$D$ の最小点は範囲の中点 $\frac{1+10}2=5.5$ で、$D(5.5)=4.5$ である。平均値 $4$ では $D(4)=6$ で、最小ではない。「平均値はずれを最も小さくする」という主張は、ずれの測り方を 2 乗の和に決めて初めて正しい。

データ $1,2,3,4,10$ の最後の値を $100$ に変えると、平均値は $\frac{1+2+3+4+100}5=22$ になる。5 個のうち 4 個は $4$ 以下なのに、平均値はどのデータからも遠い。分散は $\overline{x^2}=\frac{1+4+9+16+10000}5=2006$ から $2006-22^2=1522$ に増える。2 乗は大きなずれを非常に重く数えるので、$Q(a)$ を小さくするために $a$ は外れ値の方へ引き寄せられる。一方、中央値は $3$ のままである（中央値と絶対誤差）。