교차검증(Kfold)이란?
·
AI/Machine Learing
교차 검증 이란?과적합 : 모델이 학습 데이터에마 과도하게 최적화된 현상. 그로인해 일반화된 데이터에서는 예측 성능이 과하게 떨어지는 현상지난번 와인 맛 평가에서 훈련용 데이터의 Acc는 72.94, 테스트용 데이터는 Acc가 71.61%였는데, 누가 이결과가 정말 괜찮은 것인지 묻는다면?나에게 주어진 데이터에 적용한 모델의 성능을 정확히 표현하기 위해서도 유용하다train 데이터를 다시 나누어 validation 데이터로 사용함으로써 과적합을 막는 방법검증이 끝나면 다시 train데이터로 학습 한 뒤 test로 마지막 결과를 확인한다교차 검증 구현하기Simple Exampleimport numpy as npfrom sklearn.model_selection import KFoldX = np.array(..
PCA, t-SNE, LDA으로 알아보는 차원 축소
·
AI/Machine Learing
차원 축소는 데이터의 차원을 줄여서 데이터를 간결하게 만드는 기술이다. 시각화, 데이터 축소, 노이즈 제거, 성능 향상 및 계산 시간 감소를 위해 사용한다. 대표적인 차원 축소 알고리즘으로는 PCA, t-SNE, LDA가 있으며, 각 알고리즘은 장점과 단점이 있다. 차원 축소는 머신 러닝 모델의 성능에 긍부적 적인 영향을 미치며, 특성 선택과 차원 축소는 정보 유지와 계산 효율성 측면에서 차이가 있다.서론차원의 저주보통 우리가 생각하는 데이터는 여러 가지 정보로 이루어져 있다. 온라인 쇼핑 사이트에서 상품을 구매할 때를 예를 들자면 상품의 가격, 색상, 브랜드, 평점 및 후기 등 여러 정보가 있다. 이러한 정보를 차원이라고 한다. 하지만 데이터의 차원(정보)이 많아질수록 데이터가 복잡해져 분석하거나 활용..