ARMAモデル

同義語:ARMA過程自己回帰移動平均モデルARMA modelautoregressive moving-average model

概要

ARMAモデル(ARMA model)とは、定常な時系列 $X_t$ が白色雑音 $\varepsilon_t$ に対して $\phi(B)X_t=\theta(B)\varepsilon_t$($B$ は後退作用素、$\phi,\theta$ は共通の根のない多項式)を満たすとするモデルである。定常解があるのは $\phi$ が単位円に根をもたないときに限り、そのとき解は一意である。$\phi$ の根がすべて単位円の外なら因果的、$\theta$ の根がすべて外なら可逆である。自己共分散は Yule–Walker 方程式で、スペクトル密度は多項式の比で計算でき、時系列の推定と予測に使う。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 共分散, Wiener–Khinchinの定理, Hilbert空間

毎月の売上や気温の偏差のような時系列では、今の値が過去の値に近く、さらに過去の予想外の変動の影響も少し残る。この 2 つを有限個の係数で表すのが ARMA モデル(自己回帰移動平均モデル)である。
$$ X_t-\phi_1X_{t-1}-\dots-\phi_pX_{t-p}=\varepsilon_t+\theta_1\varepsilon_{t-1}+\dots+\theta_q\varepsilon_{t-q} $$
左辺の過去の値への回帰が自己回帰(AR)、右辺の雑音の重み付き和が移動平均(MA)である。係数が少ないのに自己相関の形を柔軟に表せるので、線形な時系列モデルの標準になっている(BJRL15、BD91)。
モデルの性質は 2 つの多項式 $\phi(z),\theta(z)$ の根の位置で決まる。$\phi$ の根が単位円の上になければ定常解がただ一つあり、外にあれば解は過去の雑音だけで書け(因果的)、$\theta$ の根が外にあれば雑音を過去の観測から復元できる(可逆)。この記事ではこの定理を証明し、自己共分散の計算、スペクトル密度、Yule–Walker 方程式、予測を扱う。

定義と使える条件

$(X_t)_{t\in\mathbb{Z}}$ を実数値で $\mathrm E[X_t^2]<\infty$ の列とする。$\mathrm E[X_t]=0$ で $\gamma(h):=\mathrm E[X_{t+h}X_t]$ が $t$ によらないとき 弱定常(以下、定常。定常過程)といい、$\gamma$ を 自己共分散、$\rho(h):=\gamma(h)/\gamma(0)$ を 自己相関 という。$(\varepsilon_t)$ が平均 $0$、分散 $\sigma^2>0$ で互いに無相関のとき 白色雑音 といい、$\mathrm{WN}(0,\sigma^2)$ と書く(独立までは要求しない。分散が有限な ARCHモデル は、独立でない白色雑音の例である)。$B$ を $BX_t=X_{t-1}$ で定まる後退作用素とする。

ARMA モデル

$\phi(z)=1-\phi_1z-\dots-\phi_pz^p$、$\theta(z)=1+\theta_1z+\dots+\theta_qz^q$($\phi_p\ne0$、$\theta_q\ne0$)を実係数の多項式とし、$\phi,\theta$ に共通の根はないとする。定常な $(X_t)$ が、ある $\mathrm{WN}(0,\sigma^2)$ について
$$ \phi(B)X_t=\theta(B)\varepsilon_t\qquad(t\in\mathbb{Z}) $$
を満たすとき ARMA($p,q$) 過程 という。$q=0$ なら AR($p$)、$p=0$ なら MA($q$) である。平均が $\mu$ の過程は $X_t-\mu$ がこの形のものをいう。

因果性と可逆性

$X$ が 因果的 であるとは、$\sum_j\lvert\psi_j\rvert<\infty$ なる $(\psi_j)_{j\ge0}$ で $X_t=\sum_{j\ge0}\psi_j\varepsilon_{t-j}$ と書けることをいう。可逆 であるとは、$\sum_j\lvert\pi_j\rvert<\infty$ なる $(\pi_j)_{j\ge0}$ で $\varepsilon_t=\sum_{j\ge0}\pi_jX_{t-j}$ と書けることをいう。

使える条件は次のとおりである。

  • (i) 2 次モーメント:雑音の分散が有限で、$X$ が定常である。
  • (ii) 共通の根がない:$\phi,\theta$ を約分してある。
  • (iii) 単位円上に $\phi$ の根がない:定常解の存在と一意性に要る。
  • (iv) 単位円板の中に $\phi$ の根がない($\lvert z\rvert\le1$):因果性に要る。
  • (v) 単位円板の中に $\theta$ の根がない:可逆性に要る。
    文献によっては移動平均の項を $\varepsilon_t-\theta_1\varepsilon_{t-1}-\cdots$ と書く。$\theta_j$ の符号が逆になるので、公式を写すときに確かめる。

公式の表

モデル自己共分散使える条件根拠
AR(1)$\gamma(h)=\sigma^2\phi^{\lvert h\rvert}/(1-\phi^2)$$\lvert\phi\rvert< 1$prop-arma-moments
MA(1)$\gamma(0)=\sigma^2(1+\theta^2)$、$\gamma(1)=\sigma^2\theta$、$\gamma(h)=0$($\lvert h\rvert\ge2$)任意の $\theta$prop-arma-moments
ARMA(1,1)$\gamma(0)=\sigma^2\bigl(1+\frac{(\phi+\theta)^2}{1-\phi^2}\bigr)$、$\gamma(1)=\phi\gamma(0)+\theta\sigma^2$、$\gamma(h)=\phi\gamma(h-1)$($h\ge2$)$\lvert\phi\rvert< 1$prop-arma-moments
AR(2)$\rho(1)=\frac{\phi_1}{1-\phi_2}$、$\rho(h)=\phi_1\rho(h-1)+\phi_2\rho(h-2)$、$\gamma(0)=\frac{\sigma^2}{1-\phi_1\rho(1)-\phi_2\rho(2)}$(iv)prop-arma-moments
スペクトル密度$f(\lambda)=\frac{\sigma^2}{2\pi}\bigl\lvert\theta(e^{-i\lambda})/\phi(e^{-i\lambda})\bigr\rvert^2$(iii)prop-arma-moments
型自己相関 $\rho(h)$偏自己相関 $\alpha(h)$根拠
:--:--:--:--
AR($p$)(因果的)指数的に減衰$h>p$ で $0$thm-arma-main、prop-arma-moments、prop-arma-pacf
MA($q$)$\lvert h\rvert>q$ で $0$一般に $0$ に切れないprop-arma-moments、ex-arma-ma1
ARMA($p,q$)$h>q$ で斉次の漸化式に従い減衰一般に $0$ に切れないprop-arma-moments

主定理

和の扱いの基礎を先に述べる。$a(B):=\sum_{j\in\mathbb{Z}}a_jB^j$($\sum\lvert a_j\rvert<\infty$)とし、定常な $Y$ について $a(B)Y_t:=\sum_ja_jY_{t-j}$ とおく。$\|Y_{t-j}\|_{L^2}$ は $j$ によらないので和は $L^2$ で絶対収束し、$a(B)Y$ は定常である。$a(B)b(B)Y=(a*b)(B)Y=b(B)a(B)Y$ も、2 重和の絶対収束により項の並べ替えで得られる。したがって総和可能な係数の作用素は、$a(z),b(z)$ が共通の収束域をもつとき Laurent 級数の積のように計算できる。また $\hat a(\lambda):=\sum_ja_je^{-ij\lambda}$ とすると、Wiener–Khinchinの定理 の命題「フィルタ」のあとの離散時間の場合の注意どおり、スペクトル測度について $dF_{a(B)Y}=\lvert\hat a\rvert^2dF_Y$ である。

定常解の存在と根の位置

$\phi,\theta$ に共通の根がなく、$(\varepsilon_t)\sim\mathrm{WN}(0,\sigma^2)$ とする。

  1. $\phi(B)X_t=\theta(B)\varepsilon_t$ に定常解があることと、$\phi$ が単位円 $\lvert z\rvert=1$ に根をもたないことは同値である。そのとき解はただ一つで、$\theta(z)/\phi(z)$ の円環での Laurent 展開 $\sum_{j\in\mathbb{Z}}\psi_jz^j$ により $X_t=\sum_j\psi_j\varepsilon_{t-j}$ である。$\psi_j$ は $\lvert j\rvert$ について指数的に減衰する。
  2. 定常解 $X$ が因果的であることと、$\phi$ が $\lvert z\rvert\le1$ に根をもたないことは同値である。
  3. 定常解 $X$ が可逆であることと、$\theta$ が $\lvert z\rvert\le1$ に根をもたないことは同値である。
係数の比較とスペクトル

1 の十分性と一意性。 $\phi$ が単位円に根をもたなければ、$\chi=1/\phi$ は単位円を含む円環で正則で、Laurent 係数 $\chi_j$ は指数的に減衰する。$\psi:=\chi\theta$ の係数も同様である。$X:=\psi(B)\varepsilon$ とおくと、$\phi(B)X=\phi(B)\chi(B)\theta(B)\varepsilon=\theta(B)\varepsilon$ である。$Y$ が定常解なら、$\chi(B)$ を両辺に作用させて $Y=\chi(B)\phi(B)Y=\chi(B)\theta(B)\varepsilon=X$ である。
1 の必要性。 $X$ を定常解とし、$F$ をそのスペクトル測度(Wiener–Khinchinの定理 の定理「Wiener–Khinchin の定理」の 2)とする。$\phi(B)X=\theta(B)\varepsilon$ の両辺のスペクトル測度を比べると
$$ \lvert\phi(e^{-i\lambda})\rvert^2\,dF(\lambda)=\frac{\sigma^2}{2\pi}\lvert\theta(e^{-i\lambda})\rvert^2\,d\lambda $$
である(白色雑音のスペクトル測度は $\frac{\sigma^2}{2\pi}d\lambda$)。$\phi(e^{-i\lambda_0})=0$ とすると、共通の根がないので $\theta(e^{-i\lambda_0})\ne0$ である。$\lambda_0$ の近くで $\lvert\phi(e^{-i\lambda})\rvert\le c\lvert\lambda-\lambda_0\rvert$ で $\lvert\theta\rvert$ は正の定数以上なので、$\lambda_0$ を除く近傍で $dF\ge c'\lvert\lambda-\lambda_0\rvert^{-2}d\lambda$ となる。右辺は積分すると無限大で、$F$ の全質量 $\gamma(0)$ が有限であることに反する。
2。 $\phi$ が $\lvert z\rvert\le1$ に根をもたなければ、$\chi=1/\phi$ は $\lvert z\rvert< 1+\delta$ で正則なので $\chi_j=0$($j< 0$)で、1 の解は因果的である。逆に $X=\psi(B)\varepsilon$($\psi_j=0$、$j< 0$、$\sum\lvert\psi_j\rvert<\infty$)とする。$\eta:=\phi\psi$ とおくと $\phi(B)X=\eta(B)\varepsilon$ なので、$\sum_j(\eta_j-\theta_j)\varepsilon_{t-j}=0$($\theta_0=1$、$j>q$ で $\theta_j=0$)である。$\varepsilon_{t-k}$ との内積をとると $\eta_k=\theta_k$ である。$\sum\lvert\psi_j\rvert<\infty$ から $\psi(z)$ は $\lvert z\rvert\le1$ で連続で、そこで $\phi(z)\psi(z)=\theta(z)$ である。$\phi(z_0)=0$、$\lvert z_0\rvert\le1$ なら $\theta(z_0)=0$ となり、共通の根がないことに反する。
3。 $\theta$ が $\lvert z\rvert\le1$ に根をもたなければ $\kappa:=1/\theta$ は総和可能な係数の冪級数で、$\varepsilon=\kappa(B)\theta(B)\varepsilon=\kappa(B)\phi(B)X$ なので $\pi:=\kappa\phi$ が可逆性を与える。逆に $\varepsilon=\pi(B)X$ とする。作用素の可換性から
$$ \phi(B)\varepsilon=\pi(B)\phi(B)X=\pi(B)\theta(B)\varepsilon $$
である。2 と同じ係数の比較で、$\lvert z\rvert\le1$ で $\pi(z)\theta(z)=\phi(z)$ を得る。$\theta(z_0)=0$、$\lvert z_0\rvert\le1$ なら $\phi(z_0)=0$ となり、矛盾する。$\square$

係数・自己共分散・スペクトル密度

$\phi$ が $\lvert z\rvert\le1$ に根をもたないとする(5 は単位円に根がなければよい)。

  1. $\psi_j$ は漸化式 $\psi_j=\theta_j+\sum_{k=1}^{\min(j,p)}\phi_k\psi_{j-k}$($j\ge0$、$\theta_0=1$、$j>q$ で $\theta_j=0$)で定まる。
  2. $\gamma(h)=\sigma^2\sum_{j\ge0}\psi_j\psi_{j+\lvert h\rvert}$ である。
  3. $k\ge0$ について、一般の Yule–Walker 方程式
    $$ \gamma(k)-\sum_{j=1}^p\phi_j\gamma(k-j)=\sigma^2\sum_{j=k}^q\theta_j\psi_{j-k} $$
    が成り立つ。右辺は $k>q$ で $0$ である。
  4. MA($q$) なら $\lvert h\rvert>q$ で $\gamma(h)=0$ である。
  5. スペクトル測度は密度 $f(\lambda)=\frac{\sigma^2}{2\pi}\lvert\theta(e^{-i\lambda})\rvert^2/\lvert\phi(e^{-i\lambda})\rvert^2$ をもつ。$\gamma(h)=\int_{-\pi}^{\pi}e^{ih\lambda}f(\lambda)\,d\lambda$ である。

1 は $\phi\psi=\theta$ の係数の比較である。2 は $\varepsilon$ の無相関性による。3:定義の式に $X_{t-k}$ を掛けて期待値をとる。$X_{t-k}=\sum_{i\ge0}\psi_i\varepsilon_{t-k-i}$ から、$j\ge k$ で $\mathrm E[\varepsilon_{t-j}X_{t-k}]=\sigma^2\psi_{j-k}$、$j< k$ で $0$ である。4 は 2 で $\psi_j=\theta_j$($j\le q$)、$\psi_j=0$($j>q$)とする。5 は $X=\psi(B)\varepsilon$ と $\hat\psi(\lambda)=\theta(e^{-i\lambda})/\phi(e^{-i\lambda})$ による。$\square$

Yule–Walker 方程式と偏自己相関

因果的な AR($p$) では、prop-arma-moments の 3 の $k=1,\dots,p$ と $k=0$ の式が次の形になる(Yul27、Wal31、RW06 (B.40)(B.41)、p. 215)。$\Gamma_p:=(\gamma(j-k))_{j,k=1}^p$、$\gamma_p:=(\gamma(1),\dots,\gamma(p))^{\top}$ とすると
$$ \Gamma_p\,\boldsymbol\phi=\gamma_p,\qquad\sigma^2=\gamma(0)-\boldsymbol\phi^{\top}\gamma_p . $$
$\gamma$ から係数が定まり、$\gamma$ を標本の自己共分散 $\hat\gamma(h):=\frac1n\sum_{t=1}^{n-\lvert h\rvert}x_tx_{t+\lvert h\rvert}$($x_t$ は平均を引いた観測)に替えれば、係数の推定量になる。

偏自己相関

$\Gamma_h$ が可逆のとき、$\Gamma_h a=\gamma_h$ の解 $a=(a_1,\dots,a_h)$ の最後の成分 $a_h$ を $\alpha(h)$ と書き、偏自己相関 という。$\sum_ja_jX_{h+1-j}$ は $X_{h+1}$ の $X_1,\dots,X_h$ による最良線形予測である。

偏自己相関の切断

$\gamma(0)>0$ で $f$ が正の測度の集合で正なら、すべての $h$ で $\Gamma_h$ は正定値である。因果的な AR($p$) では $\alpha(p)=\phi_p$、$h>p$ で $\alpha(h)=0$ である。

$a\ne0$ について $a^{\top}\Gamma_ha=\int\lvert\sum_ka_ke^{ik\lambda}\rvert^2f\,d\lambda>0$ である(三角多項式の零点は有限個)。ARMA では $f$ の零点も有限個である。$h\ge p$ なら、$X_{h+1}-\sum_{j\le p}\phi_jX_{h+1-j}=\varepsilon_{h+1}$ は因果性から $X_1,\dots,X_h$ と直交するので、最良線形予測は $\sum_{j\le p}\phi_jX_{h+1-j}$ である。係数の一意性から主張を得る。$\square$

Yule–Walker 法の利点は、当てはめた AR モデルがいつも因果的なことである。

Yule–Walker 解の因果性

実数列 $\gamma(0),\dots,\gamma(p)$ から作る $(p+1)$ 次行列 $\Gamma_{p+1}$ が正定値なら、$\Gamma_p\boldsymbol\phi=\gamma_p$ の解について $\phi(z)=1-\sum_j\phi_jz^j$ は $\lvert z\rvert\le1$ に根をもたない。とくに、$x\ne0$ の標本の $\hat\gamma$ でこれが成り立つ。

証明を開く

$c(z)=\sum_{j=0}^pc_jz^j$(複素係数、$c_0=1$)に $Q(c):=\sum_{j,k}c_j\overline{c_k}\gamma(j-k)$ を対応させる。$Q$ は狭義凸で、唯一の最小点は正規方程式 $\Gamma_p\boldsymbol\phi=\gamma_p$ の解に対応する $\phi(z)$ である。$\phi(z_0)=0$ とする($z_0\ne0$)。$\phi(z)=(1-z/z_0)b(z)$、$b(0)=1$、$\deg b\le p-1$ と書き、$g(h):=\sum_{j,k}b_j\overline{b_k}\gamma(h+j-k)$ とおくと、$g(0)>0$ で、$c_a(z):=(1-az)b(z)$ について、係数 $b_j-ab_{j-1}$ を代入して $\gamma$ の対称性を使うと $Q(c_a)=(1+\lvert a\rvert^2)g(0)-2\operatorname{Re}(a\,g(1))$ である。$\lvert a\rvert=1$ で位相を選ぶと $Q(c_a)=2g(0)-2\lvert g(1)\rvert$ で、正定値性からこれは正なので $\lvert g(1)\rvert< g(0)$ である。$a\mapsto Q(c_a)$ の最小点の絶対値は $\lvert g(1)\rvert/g(0)< 1$ で、$\phi$ が最小点なので $a=1/z_0$ がそれである。よって $\lvert z_0\rvert>1$ である。

標本の場合:$x_t=0$($t\notin[1,n]$)とすると $a^{\top}\hat\Gamma_{p+1}a=\frac1n\sum_t(\sum_ka_kx_{t-k})^2$ である。これが $0$ なら畳み込み $a*x=0$ で、多項式の積とみて $a=0$ である。$\square$

ARMA の表現は 2 次の性質だけからは一意でない。根を単位円の内外で入れ替えても自己共分散は変わらない。

根の反転

$\phi,\theta$ が単位円に根をもたないとする。$\lvert a\rvert>1$ の因子 $(1-az)$ を $(1-z/\bar a)$ に替えると、$\lvert w\rvert=1$ で $\lvert1-aw\rvert^2=\lvert a\rvert^2\lvert1-w/\bar a\rvert^2$ である。よって $\phi,\theta$ の単位円板の中の根をすべて外へ移し、$\sigma^2$ を $\theta$ 側の因子で $\lvert a\rvert^2$ 倍、$\phi$ 側の因子で $\lvert a\rvert^{-2}$ 倍すると、スペクトル密度も自己共分散も変わらない。新しいモデルは因果的かつ可逆である(根の移動で共通の根が生じたら約分する)。

$\lvert1-aw\rvert=\lvert a\rvert\,\lvert a^{-1}-w\rvert=\lvert a\rvert\,\lvert1-a^{-1}\bar w\rvert=\lvert a\rvert\,\lvert1-w/\bar a\rvert$ である(最後は複素共役をとった)。実係数の多項式の複素根は共役の組なので、組で移せば係数は実数のままである。あとは prop-arma-moments の 5 による。$\square$

新しいモデルの雑音 $\tilde\varepsilon_t:=\tilde\theta(B)^{-1}\tilde\phi(B)X_t$ は白色雑音だが、$\varepsilon$ が独立でも一般に独立ではない。推定では因果的かつ可逆な代表を使うのが標準である。

予測

最良線形予測

$X$ が因果的かつ可逆なら、$\{X_s\mid s\le t\}$ の閉線形包は $\{\varepsilon_s\mid s\le t\}$ の閉線形包と等しく、$X_{t+h}$($h\ge1$)の最良線形予測は
$$ \hat X_t(h)=\sum_{j\ge h}\psi_j\varepsilon_{t+h-j},\qquad\mathrm E\bigl[(X_{t+h}-\hat X_t(h))^2\bigr]=\sigma^2\sum_{j=0}^{h-1}\psi_j^2 $$
である。$h\to\infty$ で予測誤差の分散は $\gamma(0)$ に増加する。

因果性から $X_s$ は $\varepsilon$ の閉線形包に、可逆性から $\varepsilon_s$ は $X$ の閉線形包に入る。$X_{t+h}=\sum_{j< h}\psi_j\varepsilon_{t+h-j}+\sum_{j\ge h}\psi_j\varepsilon_{t+h-j}$ で、第 1 項は閉線形包と直交し、第 2 項はその中にある。よって第 2 項が直交射影である(Hilbert空間 の射影定理)。$\square$

計算の手順

  1. 定常に近づける。 傾向や季節性があれば差分や変換で除き、平均を引く。
  2. 次数の候補を選ぶ。 標本の $\hat\rho(h)$ と $\hat\alpha(h)$ を公式の 2 つ目の表と見比べる。AR($p$) なら $\hat\alpha$ が $p$ の先で小さく、MA($q$) なら $\hat\rho$ が $q$ の先で小さい。どちらも減衰なら ARMA を試す。
  3. 係数を推定する。 AR なら Yule–Walker($\hat\Gamma_p\hat{\boldsymbol\phi}=\hat\gamma_p$)から始める。ARMA では最尤法が標準で、Gauss 雑音のもとで尤度は Kalmanフィルタ で計算できる。次数の比較には 赤池情報量規準 を使う。
  4. 根を確かめる。 $\phi,\theta$ の根の絶対値を計算し、$1$ より大きいこと、$\phi$ と $\theta$ に近い根の組(約分できる因子)がないことを見る。
  5. 残差を見る。 残差 $\hat\varepsilon_t$ の標本自己相関が $0$ に近いことを確かめる。
  6. 予測する。 prop-arma-predict を、未来の $\varepsilon$ を $0$、未来の $X$ をその予測に置き換える漸化式で計算する。
    図: AR(2) モデル(係数 1.2 と -0.5、雑音は標準正規)の 3 枚の図を横に並べたもの。左は長さ 200 の標本路で、不規則な周期の波を描く。中央は自己相関で、ラグ 0 の 1 から減衰しながら正負に振動する。右は 0 から π までのスペクトル密度で、周波数約 0.45 に一つの山をもつ。 図: AR(2) モデル(係数 1.2 と -0.5、雑音は標準正規)の 3 枚の図を横に並べたもの。左は長さ 200 の標本路で、不規則な周期の波を描く。中央は自己相関で、ラグ 0 の 1 から減衰しながら正負に振動する。右は 0 から π までのスペクトル密度で、周波数約 0.45 に一つの山をもつ。

例題

AR(2) の計算

$X_t=1.2X_{t-1}-0.5X_{t-2}+\varepsilon_t$、$\sigma^2=1$ とする。
使う公式:thm-arma-main、公式の表の AR(2) の行、prop-arma-pacf。
答え:$\phi(z)=1-1.2z+0.5z^2$ の根は $1.2\pm0.7483i$ で、絶対値 $\sqrt2>1$ なので因果的である。$\rho(1)=0.8$、$\rho(2)=0.46$、$\rho(3)=0.152$、$\rho(4)=-0.0476$、$\gamma(0)=1/0.27\approx3.7037$。根が複素数なので $\rho(h)$ は振幅 $(\sqrt{0.5})^{h}$、角振動数 $\arccos(1.2/(2\sqrt{0.5}))\approx0.5576$(周期 $\approx11.27$)で減衰振動する。$\alpha(1)=0.8$、$\alpha(2)=-0.5$、$\alpha(h)=0$($h\ge3$)。逆に $\rho(1),\rho(2)$ から Yule–Walker 方程式を解くと $(\phi_1,\phi_2)=(1.2,-0.5)$、$\sigma^2/\gamma(0)=0.27$ に戻る。
スペクトル密度の山は $\cos\lambda=-\phi_1(1-\phi_2)/(4\phi_2)=0.9$、$\lambda\approx0.4510$(周期 $\approx13.93$)にあり、自己相関の周期とは一致しない。

途中の計算を開く

$k=1$ の式 $\rho(1)=\phi_1+\phi_2\rho(1)$ から $\rho(1)=1.2/1.5$。$\rho(2)=1.2\times0.8-0.5$。$k=0$ の式 $\gamma(0)(1-\phi_1\rho(1)-\phi_2\rho(2))=\sigma^2$ で $1-0.96+0.23=0.27$。山の位置は、$\lvert\phi(e^{-i\lambda})\rvert^2=1+\phi_1^2+\phi_2^2-2\phi_1(1-\phi_2)c-2\phi_2(2c^2-1)$($c=\cos\lambda$)を $c$ で微分して $0$ とおく。

MA(1) の 2 つの表現

$\theta=0.5$、$\sigma^2=4$ のモデルと、$\theta=2$、$\sigma^2=1$ のモデルを比べる。
使う公式:公式の表、prop-arma-reflect。
答え:どちらも $\gamma(0)=5$、$\gamma(1)=2$、$\rho(1)=0.4$ で、2 次の性質からは区別できない。可逆なのは $\theta=0.5$ だけで、$\varepsilon_t=\sum_{j\ge0}(-0.5)^jX_{t-j}$ である。MA(1) では $\lvert\rho(1)\rvert=\lvert\theta\rvert/(1+\theta^2)\le\frac12$ なので、$\rho(1)=0.6$ のような値を MA(1) では実現できない。偏自己相関は $\alpha(1)=0.4$、$\alpha(2)\approx-0.1905$、$\alpha(3)\approx0.0941$ で、$0$ に切れない。

ARMA(1,1) の予測

$\phi=0.5$、$\theta=0.4$、$\sigma^2=1$ とする。
使う公式:prop-arma-moments、prop-arma-predict。
答え:$\psi_0=1$、$\psi_j=0.9\times0.5^{j-1}$。$\gamma(0)=2.08$、$\gamma(1)=1.44$、$\gamma(2)=0.72$、$\rho(1)\approx0.6923$、$\rho(2)\approx0.3462$。$\pi_0=1$、$\pi_j=-0.9(-0.4)^{j-1}$。予測は $\hat X_t(1)=0.5X_t+0.4\varepsilon_t$、$\hat X_t(h)=0.5\hat X_t(h-1)$($h\ge2$)で、誤差の分散は次のとおりである。

$h$$1$$2$$3$$\infty$
誤差の分散$1$$1.81$$2.0125$$2.08$
Gauss 雑音での $95\%$ 区間の半幅$1.960$$2.637$$2.780$$2.827$
標本の Yule–Walker 推定

ex-arma-ar2 のモデルを標準正規の雑音で生成し(初めの $500$ 個を捨てる)、$\hat\Gamma_2\hat{\boldsymbol\phi}=\hat\gamma_2$ を解く。
答え:

$n$$\hat\phi_1$$\hat\phi_2$$\hat\sigma^2$根の絶対値
$200$$1.1074$$-0.4012$$0.8560$$1.5788$
$2000$$1.1848$$-0.5030$$1.0402$$1.4099$
$20000$$1.2085$$-0.5006$$1.0085$$1.4134$

推定量は $n$ とともに真の値に近づき、根の絶対値は thm-arma-yw のとおりどの $n$ でも $1$ を超える。推定量の漸近正規性は標準書 BD91 で扱うもので、この記事では証明しない。

使える条件と反例

外す条件反例成り立たなくなること
(iii)$\phi(z)=1-z$、$\theta=1$(酔歩)定常解がない。$\mathrm{Var}(X_t-X_0)=t\sigma^2$ が有界でない
(ii)$\phi(z)=\theta(z)=1-z$$\phi$ は単位円に根をもつのに定常解がある。しかも $X_t=\varepsilon_t+Z$($Z$ は平均 $0$ で $\varepsilon$ と無相関)がすべて解で、一意でない
(iv)$X_t=2X_{t-1}+\varepsilon_t$定常解 $X_t=-\sum_{j\ge1}2^{-j}\varepsilon_{t+j}$ は未来の雑音で書け、因果的でない。$\mathrm E[X_t\varepsilon_{t+1}]=-\sigma^2/2$
(v)$X_t=\varepsilon_t+2\varepsilon_{t-1}$可逆でない。$\varepsilon_t=\sum_{j\ge1}(-1)^{j-1}2^{-j}X_{t+j}$ は未来の観測で書ける
(i)$\varepsilon_t$ が独立な標準 Cauchy 分布、$\phi=0.5$$X_t=\sum_{j\ge0}0.5^j\varepsilon_{t-j}$ は確率 $1$ で収束し尺度 $2$ の Cauchy分布 に従うが、$\gamma$ がなく、Yule–Walker 方程式が意味をもたない
反例の確かめ
確かめを開く

1 行目:解なら $X_t-X_0=\sum_{s=1}^t\varepsilon_s$ で分散は $t\sigma^2$。定常なら $\mathrm{Var}(X_t-X_0)\le4\gamma(0)$ で有界なので矛盾する。

2 行目:$(1-B)(\varepsilon_t+Z)=\varepsilon_t-\varepsilon_{t-1}$。$\mathrm E[(\varepsilon_{t+h}+Z)(\varepsilon_t+Z)]=\sigma^2\mathbf 1_{h=0}+\mathrm{Var}\,Z$ で定常である。

3 行目:代入すると $-\sum_{j\ge1}2^{-j}\varepsilon_{t+j}+\sum_{j\ge1}2^{1-j}\varepsilon_{t-1+j}=\varepsilon_t$。分散は $\sigma^2/3$ で、prop-arma-reflect により $\phi=0.5$、雑音の分散 $\sigma^2/4$ のモデルと自己共分散が等しい($\frac{1/4}{1-1/4}=\frac13$)。

4 行目:$X_{t+j}=\varepsilon_{t+j}+2\varepsilon_{t+j-1}$ を代入すると和が消えて $\varepsilon_t$ が残る。

5 行目:Cauchy 分布では $P(\lvert\varepsilon\rvert>x)\sim2/(\pi x)$ なので、Borel–Cantelli の補題から確率 $1$ で $\lvert\varepsilon_{t-j}\rvert\le1.5^j$ が有限個を除いて成り立ち、級数は絶対収束する。独立な Cauchy の線形結合の尺度は係数の絶対値の和 $\sum0.5^j=2$ である。

よくある誤り

誤り正しくはなぜ
$\phi$ の根が単位円の中なら定常解がない単位円の上でなければ定常解はある。因果的でないだけthm-arma-main、反例の表の 3 行目
根の条件を $z$ と $1/z$ で取り違えるこの記事の $\phi(z)$ では根が 外。多項式 $z^p-\phi_1z^{p-1}-\dots-\phi_p$ で書くと根が 中 になる根は互いに逆数
$\theta_j$ の符号を文献の間で混同する移動平均を $-\theta_j$ で書く流儀があるdef-arma-model の後の注意
過剰な次数で推定して $\phi,\theta$ の根が近いのを見落とす共通因子があると係数が定まらない反例の表の 2 行目
自己相関の周期とスペクトルの山の周期を同じとする一般に異なるex-arma-ar2
白色雑音を独立な雑音と同じとする無相関しか仮定していない。最良線形予測と条件付き期待値は一般に異なるprop-arma-reflect の後の注意

補足

関連する構造

連続時間との関係。 Ornstein–Uhlenbeck過程 を等間隔に観測すると、その記事の例「離散時間の自己回帰」のとおり AR(1) になる。有理スペクトル。 ARMA は prop-arma-moments の 5 のとおりスペクトル密度が $e^{-i\lambda}$ の有理関数である定常過程で、線形時不変な有理フィルタに白色雑音を通した出力である(RW06 (B.51)(B.52)、p. 217)。差分。 $\phi$ が $z=1$ に根をもつ場合は定常でなく、差分をとって ARMA になるモデルを ARIMA という(BJRL15)。多変量。 係数を行列にすると同じ型の定理が行列多項式の行列式の根について成り立つが、この記事では扱わない。

関連項目

参考文献

[1]
G. Udny Yule, On a Method of Investigating Periodicities in Disturbed Series, with Special Reference to Wolfer's Sunspot Numbers, Philosophical Transactions of the Royal Society of London, Series A 226 (1927), 1927, 267–298
[2]
Gilbert Walker, On Periodicity in Series of Related Terms, Proceedings of the Royal Society of London, Series A 131 (1931), no., 1931, 518–532

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する