코딩하는 눈송이

Random Forest란? Random Forest(랜덤 포레스트)는 앙상블 학습의 한 종류로, 의사결정 트리(Decision Tree)를 기반으로 한 모델이다. Bagging 기법을 활용해서 여러 개의 의사 결정 트리를 생성하고, 그 과정에서 변수를 랜덤으로 선택하는 과정을 추가한다. 그들의 예측 결과를 평균화하여 더 강력하고 안정적인 예측을 수행하는 방법이다. 랜덤 포레스트는 의사 결정 트리의 과적합(overfitting) 문제를 해결하고, 데이터의 다양성을 적극적으로 활용하여 높은 성능을 가지는 특징이 있다. 랜덤 포레스트의 동작 방식은 다음과 같다. 데이터 샘플링 원본 데이터셋에서 랜덤 복원 샘플링(Bootstrap)을 진행하여 train set을 만든다. 각기 데이터셋의 크기는 같지만 복원 샘..

Ensemble Learning이란? 앙상블(Ensemble) 학습이란 여러 개의 개별적인 기계 학습 모델을 결합하여 보다 정확하고 안정적인 예측을 수행하는 기법이다. 개별 모델이 각자의 예측을 내놓고, 이 예측들이 결합하여 최종 예측을 만들어낸다.여기서 각 개별 학습 모델을 weak learner이라 표현하고, 모든 weak learner들이 결합된 모델을 strong learner이라고 한다. 사용되는 단일 모델로는 Decision Tree, SVM, Deep learning model 등 모든 종류의 학습 모델이 사용될 수 있다. 앙상블 학습의 장점은 여러 가지가 있는데, 단일 모델과 비교하여 설명해보자면 다음과 같다 높은 예측 성능 : 개별 모델들의 약점을 보완하고, 강점을 강화함으로써 예측 결과..