Blog

- 베이지안은 prior를 두고 이를 업데이트시켜 추론을 하는 것과 달리 고전적 통계 추론은 prior를 uniform distribution으로 가정하고 추론을 합니다. - Bias-Variance Decomposition을 통해 파라미터를 추정하면 이는 bias와 variance로 분해된다는 것을 정리했습니다. - ML Estimation은 Invariance Principle, Consistency, Asymptotic Normality 세 가지 특징을 갖습니다. 1. 파라미터의 추정치를 찾으면 이는 파라미터를 일대일 함수를 태운 뒤에도 추정치가 됩니다. 2. 관측 데이터가 iid라고 가정하면, 추정치는 참값에 수렴합니다. (다만, 추정치가 비편향됐다는 보장은 없습니다.) 3. 관측 데이터가 충분히..

- 이산 마르코프 체인에 대해 정리했습니다. - 마르코프 체인은 미래의 특정 상태로 갈 확률이 현재의 상태에 의존한다는 marcov property라는 가정을 갖고 있는 모델입니다. 이는 조건부 확률로 쓸 수 있습니다. - 마르코프 체인에서 path는 현재 상태에서 n번 전이를 했을 때 방문하는 상태들의 sequence를 의미합니다. 이 확률은 marcov property를 이용하여 계산할 수 있습니다. - n-step 전이 확률은 초기 상태가 i일 때 n번째 상태가 j일 확률을 말합니다. 이는 marginalize를 통해 (n-1)-step 전이확률의 weighted sum으로 나타낼 수 있습니다. 그리고 이를 C-K Equation이라 부릅니다. - 상태를 분류하고 Accesibility, Recur..

- 베이지안과 빈도주의의 차이에 대해 정리했습니다. - 나이브 베이즈예시인 스팸 필터링에 대해 정리했습니다. - MAP Estimation, MAP Rule과 이에 대한 예시에 대해 정리했습니다. - Bayesian LMS Estimation에 대해 정리했습니다. 1) MAP보다는 LMS가 성능이 낫다. MAP는 posterior가 최댓값이 되는 한 점에서의 정보를 이용. LMS는 기댓값을 통해 posterior 전체 정보를 이용. (fully-bayesian) - LMS의 한계점에 대해 정리했습니다. 1) Posterior의 pdf를 구하기 어렵다. (Evidence) 2) pdf를 구해도 expectation을 계산하기 어렵다. (적분이 intractable) => 차선으로 observation의 선..

응용수학특강 수업의 과제로 풀었던 비숍의 책 PRML의 연습문제 풀이입니다. 비숍 문제풀이1에는 연습문제 1.1, 1.3, 1.6, 1.7, 1.8, 1.10 비숍 문제풀이2에는 연습문제 1.29, 1.30, 1.31, 1.32, 1.39, 1.40, 1.41 에 대한 풀이가 있습니다.

- PAC Learning과 이와 관련된 부등식인 marcov inequality, chebyshev inequality, chernoff-hoffeding inequlaity에 대해 정리했습니다. - 다양한 norm에 대해 정리하고 이와 관련된 공간인 inner product space, normed space, metric space에 대해 정리했습니다. - inner product로 norm을 만들고, norm으로 metric을 만들어 각각의 공간을 만들 수 있지만 역이 항상 성립하지는 않습니다. - metric으로 norm을 만들기 위해서는 transition, homogenity condition을 만족해야 합니다. - norm으로 inner product를 만들기 위해서는 parallegram..

convex function과 convex optimization problem을 정리한 필기노트입니다. - convex function의 정의와 종류, 그리고 다루는 공간이 달라졌을 때 convex function의 예시에 대해 정리했습니다. - 미분가능한 함수에 대해 convexity를 확인할 수 있는 first,second-order condition과 예시에 대해 정리했습니다. - convex optimization problem의 standard form과 feasibility, optimal value/solution, 그리고 이에 대한 optimality에 대해 정리했습니다. - 미분가능한 함수가 주어졌을 때 stationary point, local minimum, global minimu..

베르누이 프로세스와 푸아송 프로세스 필기 노트입니다. 각 프로세스의 특징을 개괄적으로 살펴보았습니다. 1. Fresh Start Property 2. Memoryless Property - Poisson is approximated by Bernoulli. - Splitting Bernoulli, Poisson

Convex Set Affine and Convex Sets Definition of Affine and Convex Sets Line: through $x_{1},x_{2}:$ all points $$x=\theta x_{1}+(1-\theta)x_{2};(\theta \in \mathbb{R})$$ Affine set: contains the line through any two distinct points in the set Example: solution set of linear eqautions ${ \textbf{x} | \textbf{Ax}=\textbf{b} }$ (Conversely, every affine set can be expressed as solution set of syste..

$\underline{Lemma}$ Let $T \colon V \rightarrow W$ be linear & invertible. Then $dim(V) < \infty \Leftrightarrow dim(W) < \infty.$ In this case, $dim(V)=dim(W).$ $\underline{Proof}$ $(\Rightarrow)$ Let $\beta= \{ x_{1}, \cdots, x_{n} \}$ be a basis for $V$. By thm, $T(\beta)$ spans $R(T)=W$. By thm, $dim(W) < \infty$. $(\Leftarrow)$ Since $T^{-1} \colon W \rightarrow V$ is linear & invertible, i..

$\underline{Def}$ Let $T \colon V \rightarrow W$ be linear, where $V,W$ are vector spaces over $\mathbb{F}$. $(i)$ A function $U \colon W \rightarrow V$ is an inverse $T$ if $TU=I_{W},\,UT=I_{V}$. $(ii)$ $T$ is invertible if it has an inverse. $(iii)$ Such an inverse $U$ of $T$ is unique if ie exists. In this case, we write $U=T^{-1}.$ $\underline{Facts}$ Let $T \colon V \rightarrow W,\, U \colo..