앙상블 실습

* 복습 *

Ensemble(집단지성)

- DecisionTree --> 과대적합이 되기 쉬운 모델

- 여러개의 DT 통합해서 예측해보자 하는 모델

 

유형에 따라

- Voting : 서로 다른 모델 학습 -> 예측한 결과(투표-분류/평균-회귀) 방법으로 결정

- Bagging :  서로 같은 모델 학습 -> 예측한 결과(투표-분류/평균-회귀) 방법으로 결정

데이터 선택시 Bootstrap -> 교차검증 방식과는 달리 데이터 중첩이 허용되는 방법

대표적인 모델 : RandomForest

- Boosting :  서로 같은 모델 학습 - 예측 순차적으로 진행. 앞모델의 학습 결과/ 예측값의 오류여부에 따라 가중치를 부여해서 다음학습에 적용 되는 방법으로 오류를 수정해가는 학습 방법

강화학습과 비슷.

대표적인 모델 : AdaBoost , GBM, XGBoost , GBM

 

 

 

 

 

 

 

머신러닝에서 점수(성능)를 높이기 위해서 할 수 있는 것
1. 좋은 데이터를 구하기
2. 데이터에 맞는 모델 찾기
3. 하이퍼 파라미터 튜닝