[확률과정론] 고전적 통계 추론 (Classical Statistical Inference)

- 베이지안은 prior를 두고 이를 업데이트시켜 추론을 하는 것과 달리 고전적 통계 추론은 prior를 uniform distribution으로 가정하고 추론을 합니다.

- Bias-Variance Decomposition을 통해 파라미터를 추정하면 이는 bias와 variance로 분해된다는 것을 정리했습니다.

- ML Estimation은 Invariance Principle, Consistency, Asymptotic Normality 세 가지 특징을 갖습니다.

  1. 파라미터의 추정치를 찾으면 이는 파라미터를 일대일 함수를 태운 뒤에도 추정치가 됩니다.

  2. 관측 데이터가 iid라고 가정하면, 추정치는 참값에 수렴합니다. (다만, 추정치가 비편향됐다는 보장은 없습니다.)

  3. 관측 데이터가 충분히 많고 iid라고 가정하면 이는 정규성을 갖습니다.

- 선형회귀는 관측 데이터에 가장 핏한 선형모델을 찾는 방법입니다.

- 선형회귀는 선형 모델에 가우시안 노이즈가 있는 경우와 동일하게 볼 수 있습니다.

- 샘플 갯수가 충분히 많은 경우, 선형회귀는 선형 LMS에 수렴합니다.

- Likelihood Ratio Test를 이용해 Binary Hypothesis Testing에서 가설 판정하는 방법에 대해 정리했습니다.

 

Classical Statistical Inference.pdf

1.46MB