【確率過程・時系列解析】自己回帰過程の特性方程式の解と定常性

今回は，自己回帰過程の特性方程式の解と定常性の話です．特性方程式の解が，単位円の内側とか外側とかいう話の説明をします．

$M$ 次自己回帰過程 (以下の $w[n]$ は，平均0，分散 $\sigma^2$ の白色ノイズです)

　 $\begin{eqnarray}　y[n] &=& a_1 y[n-1] + a_2 y[n-2] + \cdots + a_m y[n-m] + w[n] \\ &=& \sum_{m=1}^M a_m y[n-m] + w[n] \end{eqnarray}$

をラグオペレータ $L$ を使って書けば，

　 $\begin{eqnarray}　y[n] &=& \sum_{m=1}^M a_m L^{m} y[n] + w[n] \\ \left(1- \sum_{m=1}^M a_m L^{m} \right) y[n] &=& + w[n] \\ y[n] &=& \frac{1}{\displaystyle 1- \sum_{m=1}^M a_m L^{m}}w[n] \end{eqnarray}$

と書けます．これは，以前にパワースペクトルを求めるときにも書きました．今回は分母の $L$ を，なぜか $z$ で置き換えた式，

　 $\displaystyle 1- \sum_{m=1}^M a_m z^{m} = 0$

の解 (根)についてのお話です．（根って何？解と違うの？という疑問があるかたは，「根」では重解も，1個ずつメンバとして，大切に数えてあげるのだと覚えてください．同じものです）

　この式を特性方程式と呼びます．

$\displaystyle 1- a_1 z- a_2 z^{2} - \cdots - a_M z^{M} = 0$

ほとんどの教科書や，ホームページでは，この方程式の解（根）が，すべて単位円の外側にあれば (絶対値が１よりも大きければ)，自己回帰過程は安定とか，弱定常とかさらっと書いてあります．何で？って疑問に思う人は多いと思います．ということで，説明します．

　特性方程式の根 (複素数もありえます)を

　 $\lambda_1, \lambda_2, \cdots, \lambda_M$

とすれば (根なので必ずメンバはM個です)，特性方程式は，

　 $\displaystyle \left( 1 - \frac{z}{\lambda_1} \right) \left( 1 - \frac{z}{\lambda_2} \right) \cdots \left( 1 - \frac{z}{\lambda_M} \right) = 0$

と因数分解できます．これを，元の自己回帰過程の式に反映させると (zをLにして)，

　 $\begin{eqnarray}　y[n] &=& \frac{1}{\displaystyle 1- \sum_{m=1}^M a_m L^{m}}w[n] \\ &=& \frac{1}{\displaystyle \left( 1 - \frac{L}{\lambda_1} \right) \left( 1 - \frac{L}{\lambda_2} \right) \cdots \left( 1 - \frac{L}{\lambda_M} \right) }w[n] \end{eqnarray}$

となります．右辺の分数の部分は必ず部分分数分解できるので (これは認めてください)，

　 $\begin{eqnarray}　y[n] &=& \frac{1}{\displaystyle \left( 1 - \frac{L}{\lambda_1} \right) \left( 1 - \frac{L}{\lambda_2} \right) \cdots \left( 1 - \frac{L}{\lambda_M} \right) }w[n] \\ &=& \left( \frac{c_1}{\displaystyle 1 - \frac{L}{\lambda_1}} + \frac{c_2}{\displaystyle 1 - \frac{L}{\lambda_2}}+ \cdots + \frac{c_M}{\displaystyle 1 - \frac{L}{\lambda_M}} \right) w[n] \\ \\ &=& \frac{c_1}{\displaystyle 1 - \frac{L}{\lambda_1}} w[n]+ \frac{c_2}{\displaystyle 1 - \frac{L}{\lambda_2}} w[n]+ \cdots + \frac{c_M}{\displaystyle 1 - \frac{L}{\lambda_M}} w[n] \end{eqnarray}$

となります． $\{c_1, c_2, \cdots\}$ には定数が入ります．

　 $\displaystyle c_k = \left. \frac{ \displaystyle \left( 1 - \frac{z}{\lambda_k} \right)}{\displaystyle \left( 1 - \frac{z}{\lambda_1} \right) \left( 1 - \frac{z}{\lambda_2} \right) \cdots \left( 1 - \frac{z}{\lambda_M} \right) } \right|_{z = \lambda_k}$

ですで，

　 $\begin{eqnarray}　y[n] &=& \frac{c_1}{\displaystyle 1 - \frac{L}{\lambda_1}} w[n]+ \frac{c_2}{\displaystyle 1 - \frac{L}{\lambda_2}} w[n]+ \cdots + \frac{c_M}{\displaystyle 1 - \frac{L}{\lambda_M}} w[n] \end{eqnarray}$

の右辺の各項が収束すれば，この過程は安定とか，定常とか，そういうことです．要は， $y[n]$ が， $n \to \infty$ で発散しなければ，めでたしめでたしです．

　ということで，

　 $\displaystyle \frac{c_k}{\displaystyle 1 - \frac{L}{\lambda_k}} w[n]$

について考えてみます．前にもやりましたが，分数の部分について，マクローリン展開，あるいは，無限等比数列の和の公式をまねて展開します．

　 $\begin{eqnarray} \frac{c_k}{\displaystyle 1 - \frac{L}{\lambda_k}} w[n] &=& \displaystyle \left(1 + \frac{L}{\lambda_k} + \left( \frac{L}{\lambda_k} \right)^2 + \cdots \right) w[n] \\ &=& \displaystyle w[n] + \frac{L}{\lambda_k} w[n] + \left( \frac{L}{\lambda_k} \right)^2 w[n] + \cdots \\ &=& \displaystyle w[n] + \frac{1}{\lambda_k} w[n-1] + \frac{1}{\lambda_k^2} w[n-2] + \cdots \end{eqnarray}$
　
これの分散を計算すれば (分散を ${\rm Var}$ で表します)

　 $\begin{eqnarray} && {\rm Var} \left[ w[n] + \frac{1}{\lambda_k} w[n-1] + \frac{1}{\lambda_k^2} w[n-2] + \cdots \right] \\ &=& {\rm Var} \left[ w[n] \right] + {\rm Var} \left[ \frac{1}{\lambda_k} w[n-1] \right] + \cdots \\ &=& \sigma^2 + \frac{\sigma^2}{\lambda_k^2} + \frac{\sigma^2}{\lambda_k^4} + \cdots \end{eqnarray}$