時系列解析(time series analysis)とは、時間の順に並んだ観測値の列から背後の確率的な仕組みを推定し、構造の把握や予測を行う統計学の分野である。項数ではなく観測数で割った標本自己共分散は常に半正定値の行列を与え、弱定常な列の標本平均の分散は自己共分散の重みつき和で正確に表される。独立同分布の雑音の標本自己相関はおよそ $1/\sqrt n$ の大きさで揺れ、差分は多項式の傾向と周期的な変動を消して定常な部分を残す。
時系列解析(time series analysis)とは、時間の順に並んだ観測値の列(時系列)から、その背後にある確率的な仕組みを推定し、構造の把握や将来の値の予測を行う統計学の分野である。気温や株価、売上の月次の記録のように、時系列では近い時刻の観測どうしが似た値をとりやすい。観測を互いに独立とみなす通常の統計の方法はそのままでは使えず、観測の間の 依存 そのものを調べることが主題になる。
時系列解析の作業は、おおよそ次の段階に分けられる。
弱定常性は 定常過程 の定義「強定常と弱定常」と同じものである。白色雑音は時系列の「予測できない部分」のモデルで、連続時間の 白色雑音(超関数に値をとる確率変数)の離散時間版にあたる。ランダムウォークの性質は ランダムウォーク にある。
実数の観測 $x_1,\dots,x_n$ について、$\bar x:=\frac1n\sum_{t=1}^nx_t$ を 標本平均 といい、$0\le h< n$ について
$$
\hat\gamma(h):=\frac1n\sum_{t=1}^{n-h}(x_{t+h}-\bar x)(x_t-\bar x)
$$
を 標本自己共分散 という。$\hat\gamma(-h):=\hat\gamma(h)$、$\lvert h\rvert\ge n$ では $\hat\gamma(h):=0$ とおく。$\hat\gamma(0)>0$ のとき $\hat\rho(h):=\hat\gamma(h)/\hat\gamma(0)$ を 標本自己相関 という。
標本自己相関 $\hat\rho(h)$ を $h$ の関数として棒グラフにしたものを コレログラム という。$\hat\rho(h)$ の式は HA21 §2.8 のものと同じである。和の項数は $n-h$ なのに $n$ で割るのは、次の定理のためである。
実数の観測 $x_1,\dots,x_n$ と $m\ge1$ について、$m$ 次の行列 $\hat\Gamma_m:=\bigl(\hat\gamma(i-j)\bigr)_{i,j=1}^m$ は半正定値である。さらに $x_1,\dots,x_n$ がすべて等しくはないなら、$\hat\Gamma_m$ は正定値である。
$1\le t\le n$ では $y_t:=x_t-\bar x$、それ以外の整数 $t$ では $y_t:=0$ とおく。すべての整数 $h$ について
$$
\hat\gamma(h)=\frac1n\sum_{t\in\mathbb{Z}}y_{t+h}\,y_t
$$
である。実際、$0\le h< n$ では右辺の $0$ でない項は $1\le t$、$t+h\le n$ のものだけで定義の和に一致し、右辺は $h$ を $-h$ に替えても($t$ を $t-h$ に替えて)変わらず、$\lvert h\rvert\ge n$ では $t$ と $t+h$ が同時に $1$ 以上 $n$ 以下にならないので $0$ である。よって $a=(a_1,\dots,a_m)\in\mathbb{R}^m$ について
$$
\sum_{i,j=1}^ma_ia_j\hat\gamma(i-j)=\frac1n\sum_{t\in\mathbb{Z}}\sum_{i,j}a_ia_jy_{t+i}y_{t+j}=\frac1n\sum_{t\in\mathbb{Z}}\Bigl(\sum_{i=1}^ma_iy_{t+i}\Bigr)^2\ge0
$$
である($t$ の和は有限和)。$\hat\gamma(i-j)$ は $i,j$ について対称なので、$\hat\Gamma_m$ は半正定値である。
後半:$x_t$ がすべて等しくはないなら、$y_t\ne0$ となる $t$ があり、その最小のものを $t_0$ とする。$a\ne0$ とし、$a_i\ne0$ となる最大の $i$ を $i^*$ とする。$t:=t_0-i^*$ では
$$
\sum_{i=1}^ma_iy_{t+i}=a_{i^*}y_{t_0}+\sum_{i< i^*}a_iy_{t_0-(i^*-i)}=a_{i^*}y_{t_0}\ne0
$$
である($i< i^*$ の項は $t_0$ より前の時刻で $y=0$、$i>i^*$ の項は $a_i=0$)。よって 2 次形式は正であり、$\hat\Gamma_m$ は正定値である。$\square$
弱定常な列の自己共分散 $\gamma$ はもともと半正定値の関数である(Wiener–Khinchinの定理 の命題「自己共分散の性質」)。推定値 $\hat\gamma$ も同じ性質をもつので、$\hat\gamma$ を自己共分散とする弱定常な列が存在し、ARMAモデル の Yule–Walker 方程式を $\hat\gamma$ で解く推定(同じ記事の例「標本の Yule–Walker 推定」)や予測の計算で、正定値な行列の逆行列が使える(正定値行列)。
$n=3$、$x=(1,0,-1)$($\bar x=0$)とする。各 $h$ の和を項数 $n-h$ で割った $\tilde\gamma(h)$ は $\tilde\gamma(0)=\frac23$、$\tilde\gamma(1)=\frac{1\cdot0+0\cdot(-1)}2=0$、$\tilde\gamma(2)=\frac{1\cdot(-1)}1=-1$ である。$a=(1,0,1)$ について
$$
\sum_{i,j}a_ia_j\tilde\gamma(i-j)=2\tilde\gamma(0)+2\tilde\gamma(2)=\frac43-2=-\frac23< 0
$$
なので、行列 $\bigl(\tilde\gamma(i-j)\bigr)_{i,j=1}^3$ は半正定値でない。$n$ で割ると $\hat\gamma(2)=-\frac13$ で、同じ $a$ の値は $\frac43-\frac23=\frac23>0$ である。平均 $\mu$ が既知で $\bar x$ の代わりに $\mu$ を引くなら、項数で割った推定は弱定常な列の $\gamma(h)$ の不偏な推定になるが、組としては自己共分散になりえないことがある。
観測が独立なら標本平均の分散は $\gamma(0)/n$ だが、相関があると変わる。
$(X_t)$ を平均 $\mu$、自己共分散 $\gamma$ の弱定常な列とし、$\bar X_n:=\frac1n\sum_{t=1}^nX_t$ とおく。
1:平均は期待値の線形性による。共分散の双線形性から $\operatorname{Var}(\bar X_n)=\frac1{n^2}\sum_{s,t=1}^n\gamma(s-t)$ であり、$1\le s,t\le n$ で $s-t=h$ となる組は $\lvert h\rvert< n$ のとき $n-\lvert h\rvert$ 個あるので、式を得る。
2:$\varepsilon>0$ について、$\lvert h\rvert>H$ なら $\lvert\gamma(h)\rvert<\varepsilon$ となる $H$ をとる。$\lvert\gamma(h)\rvert\le\gamma(0)$(Cauchy–Schwarz の不等式)と 1 から
$$
\operatorname{Var}(\bar X_n)\le\frac1n\sum_{\lvert h\rvert< n}\lvert\gamma(h)\rvert\le\frac{(2H+1)\gamma(0)}n+\frac{2n\varepsilon}{n}
$$
なので $\limsup_n\operatorname{Var}(\bar X_n)\le2\varepsilon$ である。$\varepsilon$ は任意である。$E[(\bar X_n-\mu)^2]=\operatorname{Var}(\bar X_n)$ なので後半も従う。
3:1 より $n\operatorname{Var}(\bar X_n)=\sum_{h\in\mathbb{Z}}c_n(h)\gamma(h)$、$c_n(h):=\bigl(1-\frac{\lvert h\rvert}n\bigr)\mathbf 1_{\{\lvert h\rvert< n\}}$ である。各 $h$ で $c_n(h)\to1$、$\lvert c_n(h)\gamma(h)\rvert\le\lvert\gamma(h)\rvert$ で、右辺は和が有限なので、優収束定理(数え上げ測度の場合)から主張を得る。$\square$
2 は 2 乗平均での 大数の法則 の、相関のある場合への拡張である。極限 $\sum_h\gamma(h)$ は、正規化の定数を除いてスペクトル密度の原点での値にあたり、Wiener–Khinchinの定理 の定理「時間平均の収束」は、$\bar X_n-\mu$ の 2 乗平均の極限をスペクトル測度の原点の重みで表している。
$\lvert\phi\rvert< 1$、$Z_t$ を $\mathrm{WN}(0,\sigma^2)$ とし、$X_t=\phi X_{t-1}+Z_t$ の弱定常解 $X_t=\sum_{j\ge0}\phi^jZ_{t-j}$ をとる(定常過程 の例「自己回帰」)。$h\ge0$ では無相関性から $\gamma(h)=\sigma^2\sum_{j\ge0}\phi^{j+h}\phi^j=\sigma^2\phi^{h}/(1-\phi^2)$ で、$\gamma(-h)=\gamma(h)$ である。等比級数の和から
$$
\sum_{h\in\mathbb{Z}}\gamma(h)=\frac{\sigma^2}{1-\phi^2}\Bigl(1+\frac{2\phi}{1-\phi}\Bigr)=\frac{\sigma^2}{(1-\phi)^2}
$$
なので、$n\operatorname{Var}(\bar X_n)\to\sigma^2/(1-\phi)^2$ である。観測を独立とみなした値 $\gamma(0)=\sigma^2/(1-\phi^2)$ との比は $\frac{1+\phi}{1-\phi}$ で、$\phi=0.5$ では $3$、$\phi=0.9$ では $19$ である。正の相関がある時系列で独立を仮定すると、平均の誤差を大きく見誤る。
モデルを当てはめた後の残差が白色雑音に近いかは、残差のコレログラムで調べる。その目安を与えるのが次の計算である。
$Z_1,\dots,Z_n$ を独立で同じ分布に従い、平均 $0$、分散 $\sigma^2$ の確率変数とする。$1\le h< n$ について $S_h:=\frac1n\sum_{t=1}^{n-h}Z_tZ_{t+h}$ とおくと、
$1\le h,k< n$、$1\le t\le n-h$、$1\le s\le n-k$ について $E[Z_tZ_{t+h}Z_sZ_{s+k}]$ を調べる。$t< t+h$、$s< s+k$ なので、4 つの添字のどれも高々 2 回しか現れない。ある添字がちょうど 1 回だけ現れるなら、独立性からその $Z$ の期待値 $0$ が因数になり(ほかの因数は $Z$ か $Z^2$ で可積分)、期待値は $0$ である。すべての添字が 2 回ずつ現れるのは $\{t,t+h\}=\{s,s+k\}$ のときで、$t< t+h$、$s< s+k$ から $t=s$ かつ $h=k$ であり、そのとき期待値は $E[Z_t^2]E[Z_{t+h}^2]=\sigma^4$ である。
同じ論法で $E[Z_tZ_{t+h}]=0$ なので $E[S_h]=0$ である。よって $E[S_hS_k]=\frac1{n^2}\sum_{t,s}E[Z_tZ_{t+h}Z_sZ_{s+k}]$ は、$h\ne k$ なら $0$、$h=k$ なら $t=s$ の $n-h$ 項だけが残って $(n-h)\sigma^4/n^2$ である。$\square$
$\hat\rho(h)$ の分子 $\hat\gamma(h)$ は、平均を $\bar x$ で引く違いを除けば $S_h$ であり、分母 $\hat\gamma(0)$ は $\sigma^2$ に近い。したがって白色雑音の $\hat\rho(h)$ は、ほぼ無相関で、標準偏差がおよそ $\sqrt{(n-h)}\,\sigma^2/(n\sigma^2)\approx1/\sqrt n$ の量として揺れる。実際の分析では $\pm1.96/\sqrt n$ の帯の外に出る $\hat\rho(h)$ が多いかどうかで白色雑音らしさを判断する(HA21 §2.9)。$1.96$ は標準正規分布の両側 5% 点で、帯は $\hat\rho(h)$ を平均 $0$、標準偏差 $1/\sqrt n$ の正規分布で近似したものにあたる(この近似の正当化はこの記事では扱わない)。帯を使った判断では、$h$ を 20 個見れば 1 個程度は白色雑音でも帯の外に出ることを見込む。
列 $(x_t)$ について、差分 を $\nabla x_t:=x_t-x_{t-1}$、その $d$ 回の反復を $\nabla^dx_t$ とし、周期 $s\ge1$ の 季節差分 を $\nabla_sx_t:=x_t-x_{t-s}$ とする。
差分と季節差分は HA21 §9.1 で、系列を定常にする基本の操作として扱われている。下の 4 の $x_t=m_t+u_t+X_t$ は、傾向・季節変動・残りの変動の和に分ける 加法分解(HA21 §3.2)の形である。数列の差分の一般論は 数列の和と差分 にある。
1:$k\ge1$ について $t^k-(t-1)^k=kt^{k-1}+(\text{$k-2$ 次以下の多項式})$(二項定理)なので、$\nabla$ は $k$ 次の多項式を、最高次の係数を $k$ 倍した $k-1$ 次の多項式に移し、定数を $0$ に移す。$d$ 回施すと最高次の係数は $d(d-1)\cdots1\cdot a_d=d!\,a_d$ の定数になり、もう 1 回で $0$ になる。
2:定義から $\nabla_su_t=u_t-u_{t-s}=0$ である。
3:$E[Y_t]=\mu\sum_jc_j$ は $t$ によらない。共分散の双線形性から $\operatorname{Cov}(Y_{t+h},Y_t)=\sum_{j,k}c_jc_k\operatorname{Cov}(X_{t+h-j},X_{t-k})=\sum_{j,k}c_jc_k\gamma(h-j+k)$ で、$t$ によらない。差分は $c_0=1$、$c_1=-1$ の場合で、$\gamma(h)-\gamma(h-1)-\gamma(h+1)+\gamma(h)$ となる。
4:$\nabla$ と $\nabla_s$ はどちらも列のずらしの線形結合なので、施す順序を入れ替えてよく、和に分けて施せる。2 より $\nabla^d\nabla_su_t=\nabla^d0=0$ である。1 より $\nabla^dm_t$ は定数($m$ の次数が $d$ 未満なら $0$)なので、$\nabla^d\nabla_sm_t=\nabla_s\nabla^dm_t=0$ である。残る $\nabla^d\nabla_sX_t$ は 3 により弱定常である。
5:前半は定義そのものである。後半は 3 で $\gamma(0)=\sigma^2$、$\gamma(h)=0$($h\ne0$)とおくと、$\gamma_{\nabla Z}(0)=2\sigma^2$、$\gamma_{\nabla Z}(\pm1)=-\sigma^2$、それ以外は $0$ である。$\square$
5 の後半は、すでに定常な系列に余分な差分をとると、もとになかった負の相関が生じることを示している(過剰な差分)。差分をとる回数は、単位根検定 などで決める。逆に、ランダムウォークは差分をとる前は弱定常でない。$S_0=0$ なら $\operatorname{Var}(S_t)=t\sigma^2$ が時間とともに増えるからである。
$q\ge1$ について、次数 $2q+1$ の移動平均 $\hat m_t:=\frac1{2q+1}\sum_{j=-q}^qx_{t+j}$ を考える。$x_t=a+bt$ なら、$\sum_{j=-q}^qj=0$ から $\hat m_t=a+bt$ で、1 次式の傾向はそのまま通る。$x_t=Z_t$ が $\mathrm{WN}(0,\sigma^2)$ なら $\operatorname{Var}(\hat m_t)=\sigma^2/(2q+1)$ で、不規則な変動は $\frac1{2q+1}$ に縮む。傾向の推定に移動平均を使う理由はこの 2 つである(HA21 §3.3)。
| 主題 | 内容 | 記事 |
|---|---|---|
| 定常な列の構造 | 強定常と弱定常、Wold 分解、線形予測 | 定常過程 |
| 周波数による見方 | スペクトル測度、周期図 | Wiener–Khinchinの定理 |
| 線形モデル | AR・MA・ARMA、因果性、Yule–Walker 方程式、偏自己相関 | ARMAモデル |
| 非定常性の検定 | 単位根、Dickey–Fuller の統計量 | 単位根検定 |
| 複数の系列 | 長期の均衡関係、予測への寄与 | 共和分、Granger因果性 |
| 分散の変動 | 条件付き分散の自己回帰 | ARCHモデル |
| 観測されない状態 | 状態空間モデル、逐次の推定 | 状態空間表現、Kalmanフィルタ |
| 説明変数との関係 | 回帰と残差 | 回帰分析 |
| 外す条件 | 反例 | 成り立たなくなること |
|---|---|---|
| thm-ts-psd の割る数 $n$(項数 $n-h$ に替える) | $x=(1,0,-1)$ | 行列 $\bigl(\tilde\gamma(i-j)\bigr)$ が半正定値であること |
| thm-ts-mean の 2 の $\gamma(h)\to0$ | $X_t=Z$(すべての $t$ で同じ、$\operatorname{Var}Z=\sigma^2>0$) | $\operatorname{Var}(\bar X_n)\to0$ |
| thm-ts-mean の弱定常性 | ランダムウォーク $S_t=\sum_{k=1}^tZ_k$ | $\operatorname{Var}(\bar S_n)\to0$ |
| prop-ts-diff の 1 の差分の回数 $d$ | $m_t=t^2$ に $\nabla$ を 1 回 | 差分が定数になること |
要点:どの行も分散や差分を直接計算できる。
1 行目。ex-ts-divisor で、$a=(1,0,1)$ の 2 次形式が $-\frac23$ になることを示した。
2 行目。$X_t=Z$ は平均 $E[Z]$、$\gamma(h)=\sigma^2$(すべての $h$)の弱定常な列で、$\gamma(h)\not\to0$ である。$\bar X_n=Z$ なので $\operatorname{Var}(\bar X_n)=\sigma^2$ がすべての $n$ で成り立つ。
3 行目。$\bar S_n=\frac1n\sum_{t=1}^n\sum_{k=1}^tZ_k=\frac1n\sum_{k=1}^n(n-k+1)Z_k$ なので、$\operatorname{Var}(\bar S_n)=\frac{\sigma^2}{n^2}\sum_{j=1}^nj^2=\frac{\sigma^2(n+1)(2n+1)}{6n}\to\infty$ である。$\operatorname{Var}(S_t)=t\sigma^2$ が $t$ によるので、$S_t$ は弱定常でない。
4 行目。$\nabla t^2=t^2-(t-1)^2=2t-1$ は定数でない。2 回目で $\nabla^2t^2=2=2!\cdot1$ となる。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する