뽐뿌 특가 데이터 분석 하기
·
Data Science/Data Analysis
나는 현명한 소비자가 되기 위해 항상 최적의 가격과 가성비 있는 상품을 찾는 데 큰 관심을 가지고 있다. 이러한 관심은 소비 습관을 개선하고 특별한 노하우를 가지게 되는데 큰 도움을 주었다. 데이터 사이언티스트로서 이 노하우를 활용하여 대표적인 특가 정보 커뮤니티인 '뽐뿌'의 특가 데이터를 분석하려고 한다. '뽐뿌'는 연간 약 2만 5천개의 특가 게시물이 공유되며, 수많은 소비자들이 정보 교환의 장으로 이용하는 대표적인 커뮤니티이다. 특가 게시물은 많이 등록되지만 그 중 유용한 특가는 소비자의 선택(조회, 추천, 댓글의 수)을 받아 인기/핫 게시물 (이하 인기 게시물)이라고 볼 수 있다. 이는 해당 제품이 매력적인 특가이기 때문에 대다수의 소비자에게 선택 받았다는 것을 의미하기 때문이다. 그래서 이번 분..
뽐뿌 특가 데이터 전처리 하기
·
Data Science/Data Engineering
특가 정보에 관심이 많은 사람으로써 특가 데이터 분석을 위해 뽐뿌의 특가 게시판을 크롤링 하여 특가 데이터를 확보하였고, 그 데이터를 전처리하였다. 특가 데이터 분석은 1)데이터 확보(크롤링) 2)데이터 전처리 3)특가 데이터 분석 4)카테고리 예측 모델링순으로 진행된다.1. 개요개요소제목데이터 분석을 시작하기 전에, 정확한 데이터 분석을 위해 전처리 과정이 필요하다. 데이터 분석가 업무의 80%는 데이터 전처리라는 우스갯소리를 할 정도로 굉장히 많은 시간이 들어가고 많은 고민을 하는것이 데이터 전처리 과정이다. 이번 뽐뿌 특가 데이터 분석에도 데이터 전처리는 빠질수 없는 과정으로 분석을 진행하기 용이하기 데이터 전처리를 진행했다.데이터 전처리 과정데이터 전처리는 아래의 3개 과정을 통해 진행되었다.특성..
뽐뿌 특가 게시판 크롤링하기
·
Data Science/Data Engineering
특가 정보에 관심이 많은 사람으로써 특가 데이터 분석을 위해 뽐뿌의 특가 게시판을 크롤링 하여 특가 데이터를 확보하였다. 특가 데이터 분석은 1)데이터 확보(크롤링) 2)데이터 전처리 3)특가 데이터 분석 4)카테고리 예측 모델링순으로 진행 된다.개요대부분의 사람들은 현명한 소비를 하기 위해 노력한다. 인터넷이 발달하기 전에는 '발품'을 팔아가며 같은 가격이라면 더 좋은 품질의 상품을, 혹은 같은 상품이라면 더 저렴하게 구매하기 위해 노력했다. 인터넷과 물류 유통의 발달로 이제는 '발품'을 넘어 인터넷상에서 더 저렴한 제품을 찾는 '손품'을 파는 사람이 늘어나기 시작했다. 이러한 틈새를 노려 각종 커뮤니티에는 사용자 유입을 위해 '특가를 공유 하는 게시판'을 운영중이다. '뽐뿌'도 이러한 커뮤니티 중 하..
LangChain 사용 사례 튜토리얼 파트2
·
AI/Large Language Model
해당 쿡북은 LangChain Cookbook Part 2 - Use Cases를 한글로 번역한 것이며LangChain Conceptual Documentati를 기반으로 작성 되었습니다.목표:ELI5예제와 코드를 통해 LangChain의 구성 요소와 사용 사례에 대한 기본적인 이해를 제공합니다. LangChain의 기본 원칙에 대한 소개는 쿡북 파트 1: 기본에서 확인하세요.링크:LC 개념 문서LC 파이썬 문서LC 자바스크립트/타입스크립트 문서LC 디스코드www.langchain.comLC 트위터LangChain 이란?LangChain은 언어 모델(LLM) 기반의 애플리케이션을 개발하기 위한 프레임워크입니다.요약: LangChain은 AI 모델과 작업 및 구축하는 복잡한 부분을 간단하게 만들어줍니다. ..
LangChain 기초 튜토리얼 파트1
·
AI/Large Language Model
해당 쿡북은 langchain-tutorials-LangChain Cookbook Part 1 - Fundamentals를 한글로 번역한 것이며 LangChain Conceptual Documentation을 기반으로 작성 되었습니다.목표: ELI5예제와 코드를 통해 LangChain의 구성 요소와 사용 사례에 대한 기본적인 이해를 제공합니다. 사용 사례는 2부에서 확인할 수 있습니다.링크:LC 개념 문서, LC 파이썬 문서, LC 자바스크립트/타입스크립트 문서, LC 디스코드, www.langchain.com, LC 트위터LangChain이란?LangChain은 언어 모델(LLM) 기반의 애플리케이션을 개발하기 위한 프레임워크입니다.요약: LangChain은 AI 모델과 작업 및 구축하는 복잡한 부분을..