코딩하는 눈송이

Decision Tree란? 의사결정나무(Decision Tree)란 지도 학습 알고리즘 중 하나의 알고리즘으로, 데이터를 분석하여 데이터에 존재하는 패턴을 찾아내 예측 가능한 규칙들의 조합으로 분류하는 알고리즘을 말한다. 특히 이 규칙들에 따라 데이터를 분할하는 모양이 나무와 같다 하여 의사결정'나무'라 부르며 이는 분류(Classification) 문제와 회귀(Regression) 문제 모두에서 사용 가능하다. 위 문제는 Play(O)와 Don't Play(X) 두가지로 나뉘는 binary classification 문제로, 날씨(outlook)과 습도(humidity)와 바람이 부는 정도(windy)에 따라서 분류를 진행했다. 이와 같이 tree의 각 depth에 따라 각각의 분류 기준을 설정해 이..

Fisher's Discriminant Ratio Fisher's Discriminant Ratio($J(w)$)는 클래스 간 분산과 클래스 내 분산의 비율로 정의되는 식이다. 수식 형태로 써보면 $$ Fisher's Discriminant Ratio = \frac{S_{b}(Between-Class Scatter)}{S_{w}(Within-Class Scatter)} $$ 클래스 간 분산(Between-Class Scatter) : 클래스 간 분산은 각 클래스의 평균 벡터와 전체 데이터의 평균 벡터 사이 차이를 계산한 뒤 클래스에 속하는 데이터의 갯수를 가중치로 곱해서 모든 클래스에 더한 값이다. $$ S_{b} = \sum^{K}_{i = 1}N_{i}(m_{i} - m)(m_{i} - m)^{T},..