確率密度関数と連続型確率変数

$0$ 以上 $1$ 以下の実数を 1 つ、どこも同じ「出やすさ」で選び、それを $X$ とする。計算機の乱数（0 から 1 の数を返す関数）がこれにあたる。「どこも同じ出やすさ」とは、区間に入る確率がその区間の長さに等しいことだと考える。

1. $P(0.2\le X\le0.5)=0.5-0.2=0.3$、$P(0\le X\le0.25)=0.25$ である。
2. では、ちょうど $X=\frac12$ になる確率はいくらか。$h$ を $0< h\le\frac12$ の数とすると、$X=\frac12$ ならば $\frac12-h\le X\le\frac12+h$ なので
   $$ P\Bigl(X=\frac12\Bigr)\le P\Bigl(\frac12-h\le X\le\frac12+h\Bigr)=2h $$
   である。$h=0.01$ なら $0.02$ 以下、$h=0.0001$ なら $0.0002$ 以下になる。$0$ 以上の数で、どんな正の数 $2h$ よりも小さいのは $0$ だけなので、$P\bigl(X=\frac12\bigr)=0$ である。
   1 つ 1 つの値の確率はすべて $0$ なのに、区間の確率は正である。したがって、この $X$ の確率分布は「値と確率の表」では書けない。

0 から 1 の乱数を 2 つ、互いに影響しないように引き、$U$、$V$ とする。点 $(U,V)$ は一辺 $1$ の正方形の中のでたらめな点であり、正方形の中の図形に入る確率はその面積に等しいと考える。2 つのうち大きいほうを $M=\max(U,V)$ とする。
$0\le x\le1$ とする。「$M\le x$」は「$U\le x$ かつ $V\le x$」と同じであり、これは点 $(U,V)$ が一辺 $x$ の正方形 $0\le U\le x$、$0\le V\le x$ に入ることである（図1）。よって
$$ P(M\le x)=x^2 $$
である。たとえば $P(M\le0.5)=0.25$、$P(0.5\le M\le1)=1-0.25=0.75$ で、$M$ は大きいほうに偏っている。$0\le a< b\le1$ なら、事象「$M\le b$」は、重ならない 2 つの事象「$M\le a$」「$a< M\le b$」に分かれるので、$P(a< M\le b)=b^2-a^2$ である。さらに $P(M=a)=0$ である。実際、$0< h\le a$ なら $M=a$ のとき $a-h< M\le a$ なので、$P(M=a)\le a^2-(a-h)^2=2ah-h^2\le2h$ であり、ex-pdn-uniform-intro と同じ理由で $0$ になる（$a=0$ なら $P(M=0)\le P(M\le h)=h^2$ を使う）。よって $P(a\le M\le b)=b^2-a^2$ でもある。

ex-pdn-max-intro の $M$ の値の範囲 $[0,1]$ を、幅 $\frac1m$ の $m$ 個の階級に分ける。$k$ 番目（$k=0,1,\dots,m-1$）の階級 $\frac km\le M\le\frac{k+1}m$ に入る確率は
$$ \Bigl(\frac{k+1}m\Bigr)^2-\Bigl(\frac km\Bigr)^2=\frac{(k+1)^2-k^2}{m^2}=\frac{2k+1}{m^2} $$
である。この確率を階級の幅 $\frac1m$ で割った値を長方形の高さにすると、高さは $\frac{2k+1}m$ になる。階級の中点は $\frac{2k+1}{2m}$ なので、高さはちょうど「中点の $2$ 倍」である。

• $m=2$：高さは $\frac12$、$\frac32$。
• $m=4$：高さは $\frac14$、$\frac34$、$\frac54$、$\frac74$。
  長方形の面積（高さ × 幅）が確率になり、面積の合計は $1$ である。幅を細かくしていくと、長方形の上の辺は直線 $y=2x$ に近づいていく（図2）。実際に乱数を 10000 組引いて同じ高さのヒストグラムを作っても、同じ直線に沿う。

1. 一様分布。$0\le x\le1$ で $f(x)=1$、それ以外で $f(x)=0$ とする。$\int_0^11\,dx=1$ なので密度関数である。$P(a\le X\le b)=\int_a^b1\,dx=b-a$（$0\le a\le b\le1$）となり、ex-pdn-uniform-intro の「確率＝長さ」と一致する。一般に、$\alpha<\beta$ に対して $[\alpha,\beta]$ で $f(x)=\frac1{\beta-\alpha}$、それ以外で $0$ とした密度の分布を、区間 $[\alpha,\beta]$ 上の 一様分布 という。
2. $f(x)=2x$ の場合。$0\le x\le1$ で $f(x)=2x$、それ以外で $0$ とする。$f\ge0$ で、$\int_0^12x\,dx=\bigl[x^2\bigr]_0^1=1$ である。$0\le a\le b\le1$ なら $\int_a^b2x\,dx=b^2-a^2$ で、これは ex-pdn-max-intro の $P(a\le M\le b)$ と一致する。つまり $M$ は密度 $2x$ をもつ。図2 の直線 $y=2x$ はこの密度関数のグラフである。
3. $f(x)=\frac34(1-x^2)$ の場合（$-1\le x\le1$、それ以外で $0$）。この範囲で $1-x^2\ge0$ であり、
   $$ \int_{-1}^1\frac34(1-x^2)\,dx=\frac34\Bigl[x-\frac{x^3}3\Bigr]_{-1}^1=\frac34\Bigl(\frac23+\frac23\Bigr)=1 $$
   である。$P\bigl(0\le X\le\frac12\bigr)=\frac34\bigl(\frac12-\frac1{24}\bigr)=\frac34\cdot\frac{11}{24}=\frac{11}{32}=0.34375$ である。
4. 定数を決める。$0\le x\le2$ で $f(x)=cx$、それ以外で $0$ が密度関数になる $c$ を求める。$\int_0^2cx\,dx=c\bigl[\frac{x^2}2\bigr]_0^2=2c$ なので、$2c=1$ から $c=\frac12$ である。

1. 区間 $\bigl[0,\frac12\bigr]$ 上の一様分布の密度は $f(x)=2$ で、$1$ より大きい。それでも $P(0.1\le X\le0.2)=2\times0.1=0.2$ で、確率は $1$ 以下である。
2. ex-pdn-max-intro の $M$（密度 $2x$）で、幅 $0.01$ の区間の確率を計算すると
   $$ P(0.9\le M\le0.91)=0.91^2-0.9^2=0.8281-0.81=0.0181 $$
   である。密度の値 $f(0.9)=1.8$ に幅 $0.01$ を掛けると $0.018$ で、ほぼ一致する。幅 $\Delta x$ が小さいとき、$P(x\le X\le x+\Delta x)\approx f(x)\,\Delta x$ である。密度という名前は、この「単位の幅あたりの確率」という意味から来ている。

1. $[0,1]$ 上の一様分布では、$x<0$ で $F(x)=0$、$0\le x\le1$ で $F(x)=\int_0^x1\,dt=x$、$x>1$ で $F(x)=1$ である。
2. 密度 $2x$ の $M$ では、$0\le x\le1$ で $F(x)=\int_0^x2t\,dt=x^2$ である。$P(0.5\le M\le0.8)=F(0.8)-F(0.5)=0.64-0.25=0.39$ で、これは密度のグラフの下の $0.5\le x\le0.8$ の部分の面積である（図3）。

1. 大きいほう。ex-pdn-max-intro の $M$ は、$0\le x\le1$ で $F(x)=x^2$、$x<0$ で $0$、$x>1$ で $1$ である。$F$ は連続で、$[0,1]$ で $F'(x)=2x$ は連続なので、主定理の 2 から密度は $2x$ である。
2. 小さいほう。同じ $U$、$V$ で小さいほう $N=\min(U,V)$ を考える。「$N>x$」は「$U>x$ かつ $V>x$」で、点 $(U,V)$ が一辺 $1-x$ の正方形 $x< U\le1$、$x< V\le1$ に入ることなので、$P(N>x)=(1-x)^2$ である。よって $0\le x\le1$ で $F(x)=1-(1-x)^2$ であり、微分して密度は $f(x)=2(1-x)$ である。$\int_0^12(1-x)\,dx=\bigl[2x-x^2\bigr]_0^1=1$ となることも確かめられる。
3. 乱数の 2 乗。$[0,1]$ 上の一様分布に従う $U$ について、$Y=U^2$ とする。$0\le y\le1$ なら「$Y\le y$」は「$U\le\sqrt y$」なので $F(y)=\sqrt y$ である。$0< y\le1$ で微分すると $F'(y)=\frac1{2\sqrt y}$ で、これは $y\to+0$ でいくらでも大きくなるので、主定理の 2 の仮定（$[0,1]$ で $F'$ が連続）は満たされない。そこで直接確かめる。$0< a< b\le1$ なら $P(a< Y\le b)=\sqrt b-\sqrt a=\int_a^b\frac{dy}{2\sqrt y}$ であり、$a\to+0$ とすると広義積分 $\int_0^b\frac{dy}{2\sqrt y}=\sqrt b$ が得られる。1 点の確率は $P(Y=a)=P(U=\sqrt a)=0$ である。よって $Y$ は、$0< y\le1$ で $f(y)=\frac1{2\sqrt y}$、それ以外で $0$ という密度をもつ。この例のように、密度関数は有界とは限らない。

密度 $2x$ の $M$ を考える。$[0,1]$ を幅 $\frac1m$ の $m$ 個の階級に分け、$k$ 番目の階級に入ったら値を中点 $\frac{2k+1}{2m}$ に丸める。ex-pdn-histogram より、その確率は $\frac{2k+1}{m^2}$ である。丸めた値は、とびとびの値の確率変数なので、期待値は
$$ E_m=\sum_{k=0}^{m-1}\frac{2k+1}{2m}\cdot\frac{2k+1}{m^2}=\frac1{2m^3}\sum_{k=0}^{m-1}(2k+1)^2 $$
である。

1. $m=4$ のとき、$(2k+1)^2$ は $1,9,25,49$ で和は $84$ なので、$E_4=\frac{84}{128}=\frac{21}{32}=0.65625$ である。
2. 奇数の 2 乗の和の公式 $\sum_{k=0}^{m-1}(2k+1)^2=\frac{m(4m^2-1)}3$（数学的帰納法と整列性 の方法で示せる）を使うと、$E_m=\frac{4m^2-1}{6m^2}=\frac23-\frac1{6m^2}$ である。$m=4$ なら $\frac23-\frac1{96}=\frac{21}{32}$ で 1 と一致する。$m=16$ なら $E_{16}=\frac{341}{512}=0.666015625$ である。
   $m$ を大きくすると $E_m$ は $\frac23$ に近づく。一方、積分で計算すると $\int_0^1x\cdot2x\,dx=\bigl[\frac{2x^3}3\bigr]_0^1=\frac23$ で、同じ値である。

1. $[0,1]$ 上の一様分布：$E(X)=\int_0^1x\,dx=\frac12$、$E(X^2)=\int_0^1x^2\,dx=\frac13$ なので、$V(X)=\frac13-\frac14=\frac1{12}$、$\sigma(X)=\frac1{2\sqrt3}=0.2886\ldots$ である。
2. 密度 $2x$ の $M$：$E(M)=\frac23$（ex-pdn-riemann-mean）、$E(M^2)=\int_0^1x^2\cdot2x\,dx=\bigl[\frac{x^4}2\bigr]_0^1=\frac12$ なので、$V(M)=\frac12-\frac49=\frac1{18}$ である。定義どおり $\int_0^1\bigl(x-\frac23\bigr)^2\cdot2x\,dx$ を計算しても $\frac1{18}$ になる。
3. 密度 $2(1-x)$ の小さいほう $N$（ex-pdn-derivative の 2）：$E(N)=\int_0^12x(1-x)\,dx=1-\frac23=\frac13$、$E(N^2)=\int_0^12x^2(1-x)\,dx=\frac23-\frac12=\frac16$ なので $V(N)=\frac16-\frac19=\frac1{18}$ である。$M+N=U+V$（大きいほうと小さいほうの和は 2 つの和）なので、$E(M)+E(N)=\frac23+\frac13=1=E(U)+E(V)$ となっていることも確かめられる。
4. 密度 $\frac34(1-x^2)$（$-1\le x\le1$）：$xf(x)$ は 奇関数 なので $E(X)=0$ であり、$V(X)=E(X^2)=\frac34\int_{-1}^1(x^2-x^4)\,dx=\frac34\bigl(\frac23-\frac25\bigr)=\frac34\cdot\frac4{15}=\frac15$ である。

1. $U$ が $[0,1]$ 上の一様分布に従うとき、$\alpha<\beta$ に対して $Y=(\beta-\alpha)U+\alpha$ の密度は、prop-pdn-linear から $\frac1{\beta-\alpha}\cdot1$（$\alpha\le y\le\beta$）で、$[\alpha,\beta]$ 上の一様分布である。$E(Y)=(\beta-\alpha)\cdot\frac12+\alpha=\frac{\alpha+\beta}2$、$V(Y)=(\beta-\alpha)^2\cdot\frac1{12}=\frac{(\beta-\alpha)^2}{12}$ である。たとえば $[2,8]$ 上の一様分布では $E=5$、$V=\frac{36}{12}=3$ であり、直接計算しても $\int_2^8\frac x6\,dx=\frac{64-4}{12}=5$、$\int_2^8\frac{x^2}6\,dx=\frac{512-8}{18}=28$、$28-25=3$ である。
2. 密度 $2x$ の $M$ について $Y=-2M+1$ とする（$a=-2$、$b=1$）。密度は $g(y)=\frac12\cdot2\cdot\frac{y-1}{-2}=\frac{1-y}2$（$-1\le y\le1$）で、$\int_{-1}^1\frac{1-y}2\,dy=1$ である。期待値は $-2\cdot\frac23+1=-\frac13$、分散は $4\cdot\frac1{18}=\frac29$ であり、$g$ から直接計算しても同じ値になる。

$0\le x\le1$ で $f(x)=4x-1$、それ以外で $0$ とする。全体の積分は $\int_0^1(4x-1)\,dx=\bigl[2x^2-x\bigr]_0^1=1$ で、条件 2 は満たす。しかし $0\le x<\frac14$ で $f(x)<0$ である。もし $P(a\le X\le b)=\int_a^bf(x)\,dx$ となる $X$ があれば
$$ P\Bigl(0\le X\le\frac14\Bigr)=\Bigl[2x^2-x\Bigr]_0^{1/4}=\frac18-\frac14=-\frac18,\qquad P\Bigl(\frac14\le X\le1\Bigr)=1-\Bigl(-\frac18\Bigr)=\frac98 $$
となり、確率が負になったり $1$ を超えたりする。そのような確率変数はない。
満たす性質：全体の積分は $1$。満たさない性質：条件 1（$f\ge0$）。崩れること：確率が $0$ 以上 $1$ 以下であること。

$0\le x\le1$ で $f(x)=x$、それ以外で $0$ とする。$f\ge0$ だが、$\int_0^1x\,dx=\frac12$ である。$f$ を密度とみなすと、$X$ が $0$ から $1$ のどこかの値をとる確率が $\frac12$ になり、$f$ が $0$ の範囲にも値をとらないので、「$X$ がどこかの値をとる確率は $1$」と合わない。
満たす性質：条件 1。満たさない性質：条件 2。崩れること：全体の確率が $1$ であること。ex-pdn-check の 4 と同じように定数倍して $2x$ にすれば密度関数になり、これは ex-pdn-max-intro の $M$ の密度である。

1. $U$ を $(0,1]$ の値をとる一様な乱数とし、$X=\frac1U$ とする。$x\ge1$ なら「$X\le x$」は「$U\ge\frac1x$」なので $F(x)=1-\frac1x$ であり、微分すると密度は $f(x)=\frac1{x^2}$（$x\ge1$、それ以外で $0$）である。$\int_1^R\frac{dx}{x^2}=1-\frac1R\to1$ なので、確かに密度関数の条件を満たす。しかし
   $$ \int_1^Rx\cdot\frac1{x^2}\,dx=\int_1^R\frac{dx}x=\log R $$
   は $R\to\infty$ でいくらでも大きくなり、広義積分 $\int_1^\infty xf(x)\,dx$ は収束しない。$X$ の期待値は定まらない。
2. $X=\frac1{\sqrt U}$ とすると、$x\ge1$ で $F(x)=P\bigl(U\ge\frac1{x^2}\bigr)=1-\frac1{x^2}$ で、密度は $f(x)=\frac2{x^3}$ である。$\int_1^R\frac{2}{x^2}\,dx=2-\frac2R\to2$ なので期待値は $2$ と定まる。しかし $\int_1^Rx^2\cdot\frac2{x^3}\,dx=2\log R$ は収束しないので、$E(X^2)$ は定まらず、分散も定まらない（prop-pdn-variance-formula の仮定が満たされない）。
3. 密度 $f(x)=\frac1{\pi(1+x^2)}$（すべての実数 $x$）の分布を Cauchy 分布 という（全体の積分が $1$ になることは $x=\tan\theta$ と置換すると確かめられる）。$\int_0^Rx\cdot\frac1{\pi(1+x^2)}\,dx=\frac1{2\pi}\log(1+R^2)$ は $R\to\infty$ でいくらでも大きくなるので、$X$ の期待値は定まらない。$xf(x)$ は 奇関数 なので $\int_{-R}^Rxf(x)\,dx=0$ がすべての $R$ で成り立つが、def-pdn-mean-var は $0$ 以上の側と $0$ 以下の側で別々に収束することを求めるので、これで期待値が $0$ になるわけではない。Cauchy 分布が平均をもたないことは 大数の法則とさいころの平均 でも扱っている。
   満たす性質：密度関数の条件 1、2。満たさない性質：広義積分 $\int xf(x)\,dx$（2 では $\int x^2f(x)\,dx$）の収束。崩れること：期待値（分散）が定まること。値がとびとびの場合の同じ現象は 確率変数の期待値と分散 の反例（値が無限個ある場合）にある。

硬貨を投げ、表なら $X=0$、裏なら $X$ を $[0,1]$ 上の一様な乱数の値とする。雨の日と晴れの日がある 1 日の降水量のように、「ちょうど $0$」がある確率で起こり、それ以外は連続的に分布する量の模型である。分布関数は、$x<0$ で $F(x)=0$、$0\le x\le1$ で
$$ F(x)=P(\text{表})+P(\text{裏})\cdot x=\frac12+\frac x2 $$
であり、$x>1$ で $1$ である（図4）。$F$ は $x=0$ で高さ $\frac12$ の段をもつ。

1. $X$ は密度関数をもたない。もしもてば、prop-pdn-point により $P(X=0)=0$ となるが、実際には $P(X=0)\ge P(\text{表})=\frac12$ だからである。
2. $X$ は、とびとびの値だけをとる確率変数でもない。$0< c\le1$ なら $P(X=c)=\frac12P(\text{乱数}=c)=0$ なので、値 $0$ 以外の各点の確率はすべて $0$ である。とびとびの値（有限個または数え上げられる個数の値）の確率を足して $1$ にするには、各点の確率の和が $1$ でなければならないが、ここでは $0$ 以外の点の確率の和は $0$ で、$P(X=0)=\frac12$ と合わせても $\frac12$ にしかならない。
   満たす性質：分布関数は減らない関数で、$0$ から $1$ まで増える。満たさない性質：1 点の確率がすべて $0$ であること。崩れること：密度関数をもつこと。期待値は $\frac12\cdot0+\frac12\cdot\frac12=\frac14$ と、場合に分けて計算できる。

硬貨を無限に投げ続け、$k$ 回目が表なら $\varepsilon_k=1$、裏なら $\varepsilon_k=0$ として
$$ X=\sum_{k=1}^{\infty}\frac{2\varepsilon_k}{3^k} $$
とする。$X$ は 3 進法で書いたとき各位の数字が $0$ か $2$ だけの数で、$[0,1]$ の値をとる。

1. 1 点の確率は $0$。各位が $0$ か $2$ だけの 3 進法の表し方は 1 通りなので、$X=c$ となるには $\varepsilon_1,\dots,\varepsilon_k$ が $c$ の最初の $k$ 桁で決まる値にそろう必要がある（$c$ にそのような表し方がなければ、$X=c$ となることはない）。その確率は $\frac1{2^k}$ 以下で、$k$ はいくらでも大きくとれるので $P(X=c)=0$ である。
2. 有界な密度関数をもたない。最初の $k$ 回の結果を決めると、$X$ は長さ $\frac1{3^k}$ の閉区間に入る（残りの和は $0$ 以上 $\sum_{j>k}\frac2{3^j}=\frac1{3^k}$ 以下なので）。そのような区間は $2^k$ 個で、長さの合計は $\bigl(\frac23\bigr)^k$ である。これらの区間の合併を $C_k$ とすると、$X$ はいつも $C_k$ に入る。もし $X$ が $f(x)\le K$ となる密度関数 $f$ をもてば
   $$ 1=P(X\in C_k)=\sum(\text{各区間での }f\text{ の積分})\le K\Bigl(\frac23\Bigr)^k $$
   となるが、$k=10$ で右辺は $0.0173\ldots\times K$、$k$ を大きくすれば $0$ に近づくので矛盾する。
3. 密度関数をもたない。$X$ が、def-pdn-density の意味の密度関数 $f$（有限個の点 $p_1,\dots,p_r$ を除いて連続）をもつとして矛盾を導く。prf-pdn-point の段 2・段 3 で見たとおり、各 $p_i$ について $\int_{p_i-h}^{p_i+h}f(x)\,dx$ は $h\to+0$ で $0$ に近づく。そこで $\delta>0$ を、$r$ 個の区間 $[p_i-\delta,p_i+\delta]$ での $f$ の積分の和が $\frac12$ 未満になるようにとる。$[0,1]$ から $r$ 個の開区間 $(p_i-\delta,p_i+\delta)$ を取り除いた残りは有限個の閉区間の和で、そこには除いた点がないので $f$ は連続であり、各閉区間で最大値をもつ（最大値・最小値の定理）。それらの最大値のうち最も大きいものを $K$ とする。$C_k$ の各区間での $f$ の積分を、区間 $[p_i-\delta,p_i+\delta]$ に入る部分と残りの部分に分けると、$f\ge0$ なので前の部分の合計は $\frac12$ 未満、残りの部分の合計は $K$ と長さの合計 $\bigl(\frac23\bigr)^k$ の積以下である。よって
   $$ 1=P(X\in C_k)\le\frac12+K\Bigl(\frac23\Bigr)^k $$
   である。$k$ を大きくすると右辺は $\frac12$ に近づくので矛盾する。
   $C_1,C_2,\dots$ の共通部分が Cantor集合 で、$X$ はその上に分布する。満たす性質：1 点の確率はすべて $0$。満たさない性質：密度をもつこと（2・3）。崩れること：「段のない分布関数なら密度で書ける」という予想。大学の意味の密度（Lebesgue積分 で積分する密度）ももたないが、これは本記事では証明せず、理由を rem-pdn-density-ratio で述べる。