코딩하는 눈송이

Regression이란? 여러 개의 독립 변수에서 하나의 종속 변수를 유도해 내는 것을 말한다. Linear Regression의 일반식은 다음과 같다. $$ r = f(x) + \varepsilon (X = (x^t, r^t)^N_{t=1}, f(x^t) = w^Tx^t )$$ $x$ : 독립 변수 $r$ : 종속 변수. 즉, 맞추고자 하는 real value $f(x)$ : linear regression을 통해 예측한 예측값(추정량 - estimator). 즉, $y^t$라고 볼 수 있다. 위의 식에서 $x^t$는 t번째 독립 변수로, $x^t = (x^t_{1}, x^t_{2}, ... , x^t_{k})$와 같은 Feature $x^t_{j}$의 결합이다. 또한 $w^T$는 parameter로,..

Prior, Likelihood, Posterior 이 셋은 Bayes Rule을 다룰 때 정의되는 단어로, w가 class, x가 변수라고 정의한다면 Prior(사전확률) : P(w)로, 데이터에 대한 사전 지식이라 설명 가능 예를 들어 도시의 평균 기온에 관해 데이터를 수집하고자 한다면, 지난 10년간의 평균 기온이나 전문가의 의견 등을 prior 분포로 사용할 수 있다. 평균 기온을 $\theta$로 표현한다면 다음과 같이 parametric 확률분포를 따라간다고 할 수 있다.$$P(\theta) \sim N(\mu_{prior}, \sigma^{2}_{prior})$$ Likelihood(가능도) : P(x|w)로, w라는 class를 가진 데이터가 x라는 변수를 가질 확률(확률밀도) 위와 같이 ..

Likelihood란? Likelihood는 관측치가 어떤 특정한 분포(Distribution)에서 나왔을 가능성을 수치화한 것이다. 위의 그림에서 봤을 때 관측치는 파란색 분포보다 주황색 분포에서 나왔을 가능성이 더 높다. 이를 수학적인 방법으로 분포의 특성을 추정하는 방법이 Maximum Likelihood Estimation이다. Maximum Likelihood Estimation(MLE)란? 수적인 데이터 밀도 추정 방법으로써 파라미터 $ \theta = (\theta_1, ... , \theta_m) $으로 구성된 어떤 확률밀도함수 $ P(x|\theta) $에서 관측된 표본 데이터 집합을 $ x = (x_1, ..., x_m) $이라 할 때, 이 표본들에서 파라미터 $ \theta = (\t..