[시계열] 자기회귀모델, 이동평균모델 (Auto-Regressive Model, Moving-Average Model)

$\underline{Def}$ (Auto-Regressive $p$ Model, AR Model)

자기회귀 p모델 $x_{t}$은 다음과 같이 정의된다.

$$x_{t}=\phi_{1}x_{t-1}+\phi_{2}x_{t-2}+\cdots+\phi_{p}x_{t-p}+\epsilon_{t} \;\; where\, \vert \phi \vert < 1$$

여기서 $\phi$는 모델의 파라미터를, $\epsilon_{t}$는 노이즈를 뜻한다.

 

$\underline{Def}$ (Lag-Operator)

여기서 다음 성질은 갖는 lag-operator $L$을 정의하자. 이는 시계열에서 이전 값을 내놓는 함수다.

$(1)$ $L \phi = \phi$

$(2)$ $Lx_{t}=x_{t-1}$

$(3)$ $L^{n}x_{t}=x_{t-n}$

 

그러면 자기회귀모델을 lag-operator $L$에 관한 식으로 쓸 수 있다.

$$\begin{equation} \begin{split} &\;\;\;\;\;\, x_{t}=\phi_{1}Lx_{t}+\phi_{2}L^{2}x_{t}+\cdots+\phi_{p}L^{p}x_{t}+\epsilon_{t} \\ & \Rightarrow x_{t}-(\phi_{1}Lx_{t}+\phi_{2}L^{2}x_{t}+\cdots+\phi_{p}L^{p}x_{t})=\epsilon_{t} \\ & \Rightarrow (1-\phi_{1}L-\phi_{2}L^{2}-\cdots-\phi_{p}L^{p})x_{t}=\epsilon_{t} \\ & \Rightarrow x_{t}=\frac{\epsilon_{t}}{1-\phi_{1}L-\phi_{2}L^{2}-\cdots-\phi_{p}L^{p}} \end{split} \end{equation}$$

 

$\underline{Def}$ (Moving-Average $q$ Model, MA Model)

이동평균 q모델 $\epsilon_{t}$은 다음과 같이 정의된다.

$$x_{t}=\epsilon_{t}+\theta_{1}\epsilon_{t-1}+\theta_{2}\epsilon_{t-2}+\cdots+\theta_{q}\epsilon_{t-q}$$

 

자기회귀모델을 lag-operator에 관한 식으로 썻던 것처럼 이동평균모델 또한 그렇게 해보자.

$$\begin{equation} \begin{split} &\;\;\;\;\;\, x_{t}=\epsilon_{t}+\theta_{1}\epsilon_{t-1}+\theta_{2}\epsilon_{t-2}+\cdots+\theta_{q}\epsilon_{t-q} \\ & \Rightarrow x_{t}=\epsilon_{t}+\theta_{1}L\epsilon_{t}+\theta_{2}L^{2}\epsilon_{t}+\cdots+\theta_{q}L^{q}\epsilon_{t} \\ & \Rightarrow x_{t}=(1+\theta_{1}L+\theta_{2}L^{2}+\cdots+\theta_{q}L^{q})\epsilon_{t} \\ & \Rightarrow \epsilon_{t}=\frac{x_{t}}{1+\theta_{1}L+\theta_{2}L^{2}+\cdots+\theta_{q}L^{q}} \end{split} \end{equation}$$

 

$\underline{AR(1)=MA(\infty)}$

자기회귀모델의 정의에 따라 $AR(1)$은 다음과 같다.

$$\begin{equation} \begin{split} & \;\;\;\;\;\, x_{t} = \phi x_{t-1}+\epsilon_{t} \\ & \Rightarrow x_{t}-\phi x_{t-1} = \epsilon_{t} \\ & \Rightarrow x_{t}(1-\phi L) = \epsilon_{t} \\ & \Rightarrow x_{t}=\frac{\epsilon_{t}}{1-\phi L} \end{split} \end{equation}$$

여기서 $\vert \phi \vert <1$ 이기 때문에 이를 급수 꼴로 적을 수 있다.

$$\begin{equation} \begin{split} x_{t} & = \frac{\epsilon_{t}}{1-\phi L} \\ & = (1+\phi L+ \phi^{2}L^{2}+\cdots)\epsilon_{t} \\ & = \epsilon_{t}+\phi L \epsilon_{t}+\phi^{2}L^{2}\epsilon_{t}+\cdots \\ & = \epsilon_{t}+\phi \epsilon_{t-1}+\phi^{2}\epsilon_{t-2}+\cdots \\ & = MA(\infty) \end{split} \end{equation}$$

 

$\underline{MA(1)=AR(\infty)}$

위에서 했던 것처럼 식을 쓰면 된다.

$$\begin{equation} \begin{split} &\;\;\;\;\;\, x_{t}=(1+\theta L)\epsilon_{t} \\ & \Rightarrow \epsilon_{t}=\frac{x_{t}}{1+\theta L} \\ & \Rightarrow \epsilon_{t}=(1-\theta L - \theta^{2}L^{2}-\cdots)x_{t} \\ & \Rightarrow \epsilon_{t} =x_{t}-\theta x_{t-1}-\theta^{2}x_{t-2}-\cdots \\ & \Rightarrow x_{t}=\epsilon_{t}+\theta x_{t-1}+\theta^{2}x_{t-2}+\cdots \\ & = AR(\infty) \end{split} \end{equation}$$

여기서도 모델 파라미터의 절댓값이 1보다 작다는 가정 때문에 급수의 수렴성이 보장되어 이렇게 쓸 수 있는 것이지 그렇지 않으면 위와 같이 쓸 수 없다.