Parameter VS Hyper Parameter + how to find best hyper parameter

하이퍼파라미터와 파라미터의 차이점을 알아봅시다.

야매지만 제가 사용하는 하이퍼파라미터 찾는 법도 기록합니다.

---

Parameter : 파라미터는 데이터를 통해 구해지며 모델 내부적으로 결정되는 값. 사용자에 의해 조정되지 않음. 

Hyper-Parameter : 사용자가 직접 설정하면 하이퍼 파라미터, 모델 혹은 데이터에 의해 결정되면 파라미터

---

하이퍼 파라미터 튜닝(Hyper Parameter Tunning)은

KNN 모델의 경우, X1의 갯수만큼 k를 돌리는 반복문을 쓰는 방식으로 하이퍼 파라미터 튜닝을 진행한다.

KNN 모델 설정시 세부적으로 설정해 줄 수 있는 변수인 이웃(n_neighbor)의 수를

X1 train data의 전체범위로 하여 이웃의 수가 얼마일때 가장 정확도가 높은지 검증하는 방식으로

matplotlib.pyplot 라이브러리를 통해 시각화 하여 그래프를 해석한다.

 

 

최적의 파라미터값을 선정하는 기준으로 train data가 test data보다 높은 구간에 존재하지 않아야 한다는 항목이 있다. 그 이유로는 과소적합인 데이터값을 제외해야하기 때문이다. 

또한 파라미터값의 데이터 전후로 기울기가 급격하게 변화하지 않아야한다. 왜냐하면 기울기가 급격하게 변화하게되면 데이터는 급작스럽게 생긴 이상치일 가능성이 존재하기 때문이다.