머신러닝에 있어서는 일반화 성능이 최대화 되는 모델(모델 복잡도 곡선에서의 최적점)을 찾는 것이 목표이다.
Generalization 일반화 훈련 세트로 학습한 모델이 테스트 세트에 대해 정확히 예측하도록 하는 것. (시험에 대해 답이 객관식으로 모두 지정되어 있음)
Overfitting 과대적합
(=데이터가 조금만 달라져도 민감하게 반응함) 특징이 너무 많아 훈련 세트에 너무 맞추어져 있어 테스트 세트의 성능이 저하됨. 너무 상세하고 복잡한 모델링을 하여 훈련데이터에만 과도하게 정확히 동작하는 모델.
Inderfitting 과소적합 (=특징이 적어 훈련data를 충분히 반영하지 못함) 특징 하나정도만 있는 정도로 훈련세트를 충분히 반영하지 못해 훈련 세트, 테스트 세트에서 모두 성능이 저하됨 모델링을 너무 간단하게 하여 성능이 제대로 나오지 않는 모델.
과대적합과 과소적합의 해결방법 : 주어진 훈련 데이터의 다양성 보장 다양한 데이터 포인트를 골고루 나타내야한다. 일반적으로 데이터 양이 많으면 일반화에 도움이 된다. 하지만 편중된 데이터를 많이 모으는 것은 도움이 되지 않는다. 규제(Regularization)을 통해 모델의 복잡도를 적정선으로 설정한다.
