Factor Analysis

Factor Analysis

• Factor Analysis란? 관측된 변수들의 변동성을 잠재적인 요인(latent factor)들로 분해하는 방법

Factor Analysis에서는 변수 간의 상관 관계를 고려하여 변수들을 설명할 수 있는 몇 개의 잠재적인 요인을 찾아 낸다.

잠재 요인(latent factor)은 변수들 간의 공통 변동을 설명하고, 데이터의 차원 축소와 변수 간의 관계를 이해하는 데에 도움을 준다.

 

잠재 요인을 $z_{i}$로 표현하고, 이를 통해 x를 표현한다면 식은 다음과 같다

$$ x_{i} -\mu_{i} = v_{i1}z_{1} + v_{i2}z_{2} + ... v_{ik}z_{k} + \epsilon_{i} $$

 

여기서 latent factor $z_{i}$은 다음 조건을 만족한다고 가정한다.

$$ E[z_{i}] = 0. Var(z_{i}) = 1, Cov(z_{i}, z_{j} = 0 $$

 

즉, 각 latent factor은 normal distribution을 따르고, independent하다고 가정한다.

이는 모형의 간편성, 추정에 필요한 계산의 효율성을 위해 이러한 가정을 진행한다.

 

또한 $v_{ik}$는 변수의 k번째 factor loading이라 부르며,

$\epsilon_{i}$는 noise로, $E[\epslion_{i}] = \Psi_{i}, Cov(\epslion_{i}, \epslion_{j}) = 0, Cov(z_{i}, \epslion_{j}) $을 만족한다.

 

 

PCA와의 차이점

Factor Analysis와 PCA는 차원 축소라는 공통점이 존재하나 변환된 값과 원본 데이터 사이의 변환 방법 및 해석 방법에서 가장 큰 차이를 보인다.

 

1. 변수 변환
   • PCA : PCA는 주성분을 이용해 데이터를 변환한다. 원본 변수들의 선형 조합으로 표현되며, 이를 통해 차원 축소가 이루어진다. $$z = W^{T}(x - \mu) $$
   • Factor Analysis : 변수들 간의 선형 관계를 가정하여 요인들 간의 선형 관계를 추론하는 방식이다. latent factor $z_{i}$는 원본 변수들 간의 공통 변동을 설명하는 변수로 해석되며, 이를 통해 원본 데이터 x를 재구성하며, 여기서 변수 간의 상관 구조를 해석하는 것이 목표이다. $$x - \mu = Vz + \epsilon $$
2. 변수 해석
   • PCA : 주성분을 이용해 데이터의 변수 간 상관 구조를 해석한다. 주성분은 원본 변수들의 변동성을 최대화하는 방향으로 해석되며 변수들 관의 관계를 이해하는데에 도움을 준다.
   • Factor Analysis : 잠재 요인(latent factor)을 이용해 데이터의 변수들 간의 공통 변동을 설명하며 이를 통해 변수들 간의 상관 관계를 나타낸다.

 

Reference

https://zephyrus1111.tistory.com/462

40. 인자 분석(Factor Analysis)에 대해서 알아보자 with Python

-> factor analysis에 대한 기본적인 설명 이외에도 factor loading 행렬에 관해 다양한 방법(PCA, MLE 등)으로 추정해놓은 페이지니 추가적으로 알고 싶다면 해당 reference 페이지 참조