- 이산 마르코프 체인에 대해 정리했습니다.
- 마르코프 체인은 미래의 특정 상태로 갈 확률이 현재의 상태에 의존한다는 marcov property라는 가정을 갖고 있는 모델입니다. 이는 조건부 확률로 쓸 수 있습니다.
- 마르코프 체인에서 path는 현재 상태에서 n번 전이를 했을 때 방문하는 상태들의 sequence를 의미합니다. 이 확률은 marcov property를 이용하여 계산할 수 있습니다.
- n-step 전이 확률은 초기 상태가 i일 때 n번째 상태가 j일 확률을 말합니다. 이는 marginalize를 통해 (n-1)-step 전이확률의 weighted sum으로 나타낼 수 있습니다. 그리고 이를 C-K Equation이라 부릅니다.
- 상태를 분류하고 Accesibility, Recurrent State, Transient State, Peridiocity에 대해 정리했습니다.
- 마르코프 체인은 recurrent classes, transient states로 분해할 수 있습니다.
- 하나의 recurrent class를 갖고 있고 aperiodic한 마르코프 체인의 n-step 전이 확률은 transition step이 충분히 큰 경우 수렴합니다. 그리고, transition probability는 초기 상태와 무관합니다.
- Birth-Death Process는 전이가 인접한 상태에서만 일어나는 마르코프 체인을 말합니다. 이는 Local-Balance Equation을 통해 transition probability를 계산할 수 있습니다.
'수학 > 확률과정론' 카테고리의 다른 글
| [확률과정론] 고전적 통계 추론 (Classical Statistical Inference) (0) | 2020.11.22 |
|---|---|
| [확률과정론] 베이지안 통계 추론 (Bayesian Statistical Inference) (0) | 2020.11.06 |
| [확률과정론] 베르누이 프로세스, 푸아송 프로세스 (Bernoulli Process, Poisson Process) (0) | 2020.11.02 |