교차 검증 이란?과적합 : 모델이 학습 데이터에마 과도하게 최적화된 현상. 그로인해 일반화된 데이터에서는 예측 성능이 과하게 떨어지는 현상지난번 와인 맛 평가에서 훈련용 데이터의 Acc는 72.94, 테스트용 데이터는 Acc가 71.61%였는데, 누가 이결과가 정말 괜찮은 것인지 묻는다면?나에게 주어진 데이터에 적용한 모델의 성능을 정확히 표현하기 위해서도 유용하다train 데이터를 다시 나누어 validation 데이터로 사용함으로써 과적합을 막는 방법검증이 끝나면 다시 train데이터로 학습 한 뒤 test로 마지막 결과를 확인한다교차 검증 구현하기Simple Exampleimport numpy as npfrom sklearn.model_selection import KFoldX = np.array(..

들어가며# !pip install keybert# !pip install kiwipiepyKeyBert라는 키워드 추출 Bert 있어 간략히 소개 하려고 한다.KeyBert에 대한 자세한 내용은 https://maartengr.github.io/KeyBERT/ 참조데이터 소개from keybert import KeyBERTfrom kiwipiepy import Kiwifrom transformers import BertModeltext="""김영하가 『살인자의 기억법』 이후 9 년 만에 내놓는 장편소설 『작별인사』는 그리 멀지 않은 미래를 배경으로, 별안간 삶이 송두리째 뒤흔들린 한 소년의 여정을 좇는다. 유명한 IT 기업의 연구원인 아버지와 쾌적하고 평화롭게 살아가던 철이는 어느날 갑자기 수용소로 끌려..

CIFAR-10 이미지 분류기 만들기합성곱 신경망(Convolution Neural Network)을 사용하여 성능이 향상된 이미지 분류기 생성 (w.Vgg16)개요 및 결론 요약개요CNN을 활용하여 직접 이미지 분류기를 만들어 성능을 확인하고, Pre-trainded된 모델을 Fine Tunning하여 성능을 비교하여 얼마나 차이나는지 확인함.Simple Convolution Neural Network를 생성하여 CIFAR-10 이미지 데이터를 구별하는 분류기를 생성하여 성능을 확인함.Pre Trained된 VGG16를 CIFAR-10 데이터로 Fine Tunning 후 성능을 직접 구축한 Simple CNN 대비 얼마나 성능이 좋아졌는지 확인함.두 모델은 모두 같은 하이퍼파라미터와 손실 함수를 사용하..

해당 쿡북은 LangChain Cookbook Part 2 - Use Cases를 한글로 번역한 것이며LangChain Conceptual Documentati를 기반으로 작성 되었습니다.목표:ELI5예제와 코드를 통해 LangChain의 구성 요소와 사용 사례에 대한 기본적인 이해를 제공합니다. LangChain의 기본 원칙에 대한 소개는 쿡북 파트 1: 기본에서 확인하세요.링크:LC 개념 문서LC 파이썬 문서LC 자바스크립트/타입스크립트 문서LC 디스코드www.langchain.comLC 트위터LangChain 이란?LangChain은 언어 모델(LLM) 기반의 애플리케이션을 개발하기 위한 프레임워크입니다.요약: LangChain은 AI 모델과 작업 및 구축하는 복잡한 부분을 간단하게 만들어줍니다. ..

해당 쿡북은 langchain-tutorials-LangChain Cookbook Part 1 - Fundamentals를 한글로 번역한 것이며 LangChain Conceptual Documentation을 기반으로 작성 되었습니다.목표: ELI5예제와 코드를 통해 LangChain의 구성 요소와 사용 사례에 대한 기본적인 이해를 제공합니다. 사용 사례는 2부에서 확인할 수 있습니다.링크:LC 개념 문서, LC 파이썬 문서, LC 자바스크립트/타입스크립트 문서, LC 디스코드, www.langchain.com, LC 트위터LangChain이란?LangChain은 언어 모델(LLM) 기반의 애플리케이션을 개발하기 위한 프레임워크입니다.요약: LangChain은 AI 모델과 작업 및 구축하는 복잡한 부분을..