차원 축소

차원축소란?

차원축소란 고차원의 데이터를 저차원의 데이터로 변환하는 것을 의미한다. 이를 통해 데이터를 더욱 쉽게 시각화하고 분석할 수 있다.

 

그렇다면 차원축소를 왜 하는 것인가? 데이터의 차원이 커지게 된다면 학습 데이터의 수가 차원이 수보다 적어져 성능이 저하 되게 됩니다. 차원이 증가하게 된다면 변수가 증가하게 되고, 개별 차원 내에서 학습할 데이터의 수도 적어지게 된다.

 

아래의 그림처럼 차원이 커지게 된다면 데이터 샘플 간의 거리가 멀이지게 되고, 데이터 분석에서 어려움을 겪게 된다. 이를 '차원의 저주'라고 부른다.

차원의 저주 예시 (출처 : minye-lee19.gitbook.io)

 

이렇듯 차원의 저주 문제를 해결하고 모델의 복잡도(시간적 복잡도, 공간적 복잡도 - 과도한 parameter 수)를 줄이며 작은 데이터셋에도 잘 fit하는 Simple한 모델을 만들기 위해 차원 축소를 진행한다.

 

 

차원 축소의 종류

차원 축소의 종류는 크게 두가지로 나눌 수 있다.

 

1. Subset Selection(변수 선택) : 원래의 변수 중에서 가장 중요한, 즉 모델의 정확도에 기여할 수 있는 변수를 선택하여 고차원의 데이터를 저차원으로 변환하는 방법이다.

 

변수를 선택하는 방법도 두가지로 나뉘는데 크게 Forward Search와 Backward Search로 나뉜다.

 

• Forward Search : 0개의 feature에서부터 best new feature을 하나씩 추가하는 방식 
  1. Empty Feature Set인 F를 정의한다.
  2. 각 iteration마다 $argmin E(F \cup x_{j})$인 new feature $x_{j}$를 찾는다. 
  3. $E(F \cup x_{j}) < E(F)$ 혹은 $E(F) + \epsilon$을 만족하는 feature을 F에 포함시킨다.
• Backward Search : 모든 feature set에서부터 필요 없는 feature을 하나씩 빼는 방식

 

2. Feature Extraction(변수 추출) : 원래의 변수들을 선형 결합하여 새로운 변수를 만들어 고차원의 데이터를 저차원을 변환하는 방법이다.

 

이를 통해 기존 d개의 feature을 기반으로 새로운 k개의 feature(차원)이 만들어지며, 데이터는 k차원의 공간에 투영되게 된다.(k<d)

 

 

Feature Extraction 방법론

https://winterflake.tistory.com/13

PCA(Principal Component Analysis)

https://winterflake.tistory.com/14

LDA(Linear Discriminant Analysis)

https://winterflake.tistory.com/15

Factor Analysis