Blog

- 베이지안은 prior를 두고 이를 업데이트시켜 추론을 하는 것과 달리 고전적 통계 추론은 prior를 uniform distribution으로 가정하고 추론을 합니다. - Bias-Variance Decomposition을 통해 파라미터를 추정하면 이는 bias와 variance로 분해된다는 것을 정리했습니다. - ML Estimation은 Invariance Principle, Consistency, Asymptotic Normality 세 가지 특징을 갖습니다. 1. 파라미터의 추정치를 찾으면 이는 파라미터를 일대일 함수를 태운 뒤에도 추정치가 됩니다. 2. 관측 데이터가 iid라고 가정하면, 추정치는 참값에 수렴합니다. (다만, 추정치가 비편향됐다는 보장은 없습니다.) 3. 관측 데이터가 충분히..

- 이산 마르코프 체인에 대해 정리했습니다. - 마르코프 체인은 미래의 특정 상태로 갈 확률이 현재의 상태에 의존한다는 marcov property라는 가정을 갖고 있는 모델입니다. 이는 조건부 확률로 쓸 수 있습니다. - 마르코프 체인에서 path는 현재 상태에서 n번 전이를 했을 때 방문하는 상태들의 sequence를 의미합니다. 이 확률은 marcov property를 이용하여 계산할 수 있습니다. - n-step 전이 확률은 초기 상태가 i일 때 n번째 상태가 j일 확률을 말합니다. 이는 marginalize를 통해 (n-1)-step 전이확률의 weighted sum으로 나타낼 수 있습니다. 그리고 이를 C-K Equation이라 부릅니다. - 상태를 분류하고 Accesibility, Recur..

- 베이지안과 빈도주의의 차이에 대해 정리했습니다. - 나이브 베이즈예시인 스팸 필터링에 대해 정리했습니다. - MAP Estimation, MAP Rule과 이에 대한 예시에 대해 정리했습니다. - Bayesian LMS Estimation에 대해 정리했습니다. 1) MAP보다는 LMS가 성능이 낫다. MAP는 posterior가 최댓값이 되는 한 점에서의 정보를 이용. LMS는 기댓값을 통해 posterior 전체 정보를 이용. (fully-bayesian) - LMS의 한계점에 대해 정리했습니다. 1) Posterior의 pdf를 구하기 어렵다. (Evidence) 2) pdf를 구해도 expectation을 계산하기 어렵다. (적분이 intractable) => 차선으로 observation의 선..

베르누이 프로세스와 푸아송 프로세스 필기 노트입니다. 각 프로세스의 특징을 개괄적으로 살펴보았습니다. 1. Fresh Start Property 2. Memoryless Property - Poisson is approximated by Bernoulli. - Splitting Bernoulli, Poisson