또자의 코딩교실

스마트 인재개발원의 후반과정을 듣다보면 머신러닝을 배우게 된다. 이때 많이 어려운 머신러닝 공부도 더 하고 2차프로젝트의 탄탄한 기술적 배경을 다지기위해 자체적으로 Kaggle 대회를 개최한다. Kaggle은 이전에 내 블로그 내에서도 타이타닉 분석을 통해 다룬적이 있지만, 캐글은 2010년 설립된 예측모델 및 분석 대회 플랫폼이다. 기업 및 단체에서 데이터와 해결과제를 등록하면, 데이터 과학자들이 이를 해결하는 모델을 개발하고 경쟁한다. 이번 Kaggle 대회의 문제는 이진분류 문제로, 쿠팡의 전자 상거래 물품 배송 예측이다. 즉, 물건이 제 시간에 잘 도착했는지, 도착하지 못했는지를 최종 예측하는 문제이다. 현재 총 24명(선생님 한분-팀)의 같은 과정을 수료하는 분들이 참여하고 있다. 한팀 당 6명..

캐글은 2010년 설립된 예측모델 및 분석 대회 플랫폼이다. 기업 및 단체에서 데이터와 해결과제를 등록하면, 데이터 과학자들이 이를 해결하는 모델을 개발하고 경쟁한다. 썸네일으로는 2022년에 새로운 타이타닉의 항해소식과... 침몰시켜 새로운 Dataset을 얻기 위해 눈독들이는 Kaggle Meme으로 골라봤다. 이번 포스팅은 상당히 길며, 머신러닝의 method에 따라 진행된다. 문제 정의 이번 포스팅에서는 실제 Kaggle 데이터인 타이타닉 데이터를 이요하여 머신러닝을 진행할 것이다. 사망여부를 예측하는 것이 최종 Label값이 되므로 결과값은 Yes, No 두가지 중 하나의 값이 된다. 이진분류문제(범주형 데이터)가 최종 예측값이 되게 된다. 사용하는 라이브러리는 다음과 같다. import sea..

이번 포스팅에서는 분류와 회귀에 모두 사용가능한 머신러닝의 모델인 K-최근접 이웃 알고리즘에 대해 알아보자. K-Nearest Neighbors(KNN) 새로운 데이터 포인트와 가장 가까운 훈련 데이터셋의 데이터 포인트를 찾아 예측함. k값에 따라 가까운 이웃의 수가 결정됨. 분류와 회귀에 모두 사용 가능함. KNN 모델의 장단점 이해하기 쉬고 조정없이도 좋은 성능을 발휘함 많은 특성을 가진 데이터 세트와 특성 값 대부분이 0인 희소한 데이터 세트에는 잘 동작하지 않음 전처리 과정이 중요하고 잘 쓰이지 않음 거리를 측정하기 때문에 같은 scale을 같도록 정규화가 필요함 훈련 데이터 세트가 크면(특성, 샘플의 수) 예측이 느려짐 우선, 결정 경계에 대해 이해할 필요가 있다. 결정경계는 가져온 DATA S..

이번 포스팅에서부터는 일반화, 과대적합, 과소적합 등에 대해 알아보자. 머신러닝에 있어서는 일반화 성능이 최대화 되는 모델(모델 복잡도 곡선에서의 최적점)을 찾는 것이 목표이다. Generalization 일반화 훈련 세트로 학습한 모델이 테스트 세트에 대해 정확히 예측하도록 하는 것. (시험에 대해 답이 객관식으로 모두 지정되어 있음) Overfitting 과대적합 (=데이터가 조금만 달라져도 민감하게 반응함) 특징이 너무 많아 훈련 세트에 너무 맞추어져 있어 테스트 세트의 성능이 저하됨. 너무 상세하고 복잡한 모델링을 하여 훈련데이터에만 과도하게 정확히 동작하는 모델. Inderfitting 과소적합 (=특징이 적어 훈련data를 충분히 반영하지 못함) 특징 하나정도만 있는 정도로 훈련세트를 충분히 ..

Machine Learning이란? 머신러닝은 당신이 4차 산업혁명시대를 살면서 한번쯤은 뉴키워드로 들어보았을 법한 단어일 것이다. 머신러닝을 기반으로 컴퓨터는 판단능력과 추론능력을 가지게 되며, 학습을 통해 진화하여 새로운 것을 만드는 창의력을 함양할 수 있는 가능성이 열리게 된 것이다. 이런 식으로 머신러닝과 딥러닝을 기반으로 하여 만들어지는 인공지능들에는 총 3가지의 분류가 존재한다. Weak AI - 학습을 통해 문제를 해결한다. - 주어진 조건 아래서만 작동하여 사람을 흉내 내는 수준에 그친다. - ex) 구글 알파고, 시리, 자율자동차, 구글 번역 등 Strong AI - 사고를 통해 문제를 해결한다. - 사람과 비슷한 지능을 가지고 추론, 문제해결, 계획, 의사소통 등이 가능하다. Super..