코딩하는 눈송이

Decision Tree란? 의사결정나무(Decision Tree)란 지도 학습 알고리즘 중 하나의 알고리즘으로, 데이터를 분석하여 데이터에 존재하는 패턴을 찾아내 예측 가능한 규칙들의 조합으로 분류하는 알고리즘을 말한다. 특히 이 규칙들에 따라 데이터를 분할하는 모양이 나무와 같다 하여 의사결정'나무'라 부르며 이는 분류(Classification) 문제와 회귀(Regression) 문제 모두에서 사용 가능하다. 위 문제는 Play(O)와 Don't Play(X) 두가지로 나뉘는 binary classification 문제로, 날씨(outlook)과 습도(humidity)와 바람이 부는 정도(windy)에 따라서 분류를 진행했다. 이와 같이 tree의 각 depth에 따라 각각의 분류 기준을 설정해 이..

Regression이란? 여러 개의 독립 변수에서 하나의 종속 변수를 유도해 내는 것을 말한다. Linear Regression의 일반식은 다음과 같다. $$r = f(x) + \varepsilon (X = (x^t, r^t)^N_{t=1}, f(x^t) = w^Tx^t )$$ $x$ : 독립 변수 $r$ : 종속 변수. 즉, 맞추고자 하는 real value $f(x)$ : linear regression을 통해 예측한 예측값(추정량 - estimator). 즉, $y^t$라고 볼 수 있다. 위의 식에서 $x^t$는 t번째 독립 변수로, $x^t = (x^t_{1}, x^t_{2}, ... , x^t_{k})$와 같은 Feature $x^t_{j}$의 결합이다. 또한 $w^T$는 parameter로,..