들어가며# !pip install keybert# !pip install kiwipiepyKeyBert라는 키워드 추출 Bert 있어 간략히 소개 하려고 한다.KeyBert에 대한 자세한 내용은 https://maartengr.github.io/KeyBERT/ 참조데이터 소개from keybert import KeyBERTfrom kiwipiepy import Kiwifrom transformers import BertModeltext="""김영하가 『살인자의 기억법』 이후 9 년 만에 내놓는 장편소설 『작별인사』는 그리 멀지 않은 미래를 배경으로, 별안간 삶이 송두리째 뒤흔들린 한 소년의 여정을 좇는다. 유명한 IT 기업의 연구원인 아버지와 쾌적하고 평화롭게 살아가던 철이는 어느날 갑자기 수용소로 끌려..

N-gram이란?n-gram은 텍스트나 시퀀스에서 연속적으로 나타나는 n개의 항목(단어, 문자 등)을 의미한다. n-gram은 한 단어 이상의 단어 시퀀스를 분석 대상으로 한다. 예를 들어, "I love programming"이라는 문장에서 2-gram(bigram)은 "I love", "love programming" 등이 된다. n-gram은 텍스트의 구조와 패턴을 파악하는 데 유용하여 자연어 처리에서 많이 사용된다. n의 크기에 따라 unigram(1-gram), bigram(2-gram), trigram(3-gram) 등으로 나타낼 수 있다. 마르코프 가정n-gram에서 중요한 개념 중 하나는 마르코프 가정이다. 마르코프 가정은 주어진 시퀀스에서 다음 상태나 사건의 확률이 오직 현재 상태에만 의..

프롬프트 엔지니어링은 인공지능(AI)에게 특정 작업을 수행하도록 지시하는 기술로, 사용자가 원하는 결과를 정확히 얻기 위해 설계된 지침을 제공하는 것을 말합니다. 이를 통해 AI 모델은 사용자의 의도를 이해하고, 적합한 응답을 생성할 수 있습니다. 이 기술은 특히 생성형 AI와의 상호작용에서 핵심적인 역할을 하며, AI가 복잡한 요청을 처리하는 데 필요한 방향성을 제공합니다.프롬프트 엔지니어링의 중요성프롬프트 엔지니어링은 AI가 단순히 데이터를 처리하는 데 그치지 않고, 사람과의 협업을 통해 문제를 해결하는 데 활용될 수 있도록 돕습니다. 잘 설계된 프롬프트는 다음과 같은 장점을 제공 합니다.프롬프트 엔지니어링의 주요 장점높은 정확성명확하고 구체적인 지침을 통해 사용자는 더욱 정확한 정보를 얻을 수 있습..

워드 임베딩이란?텍스트 데이터를 자연어 처리나 기계 학습 알고리즘에 사용할 수 있는 형태로 변환하는 기법 중 하나임. 워드 임베딩의 핵심 아이디어는 단어의 의미는 주변 단어에 의해 결정된다는 분포 가설(distributional hypothesis)에 기반한다. 워드 임베딩을 통해, 각 단어는 고차원 공간에 벡터로 표현된다. 벡터 공간에서는 의미상 유사한 단어들이 서로 가깝게 위치하게 되며 이러한 벡터 표현은 단어 간의 유사도를 계산하거나, 단어 사이의 관계를 파악하는 데 사용될 수 있다.Word2VecWord2Vec은 구글이 개발한 단어 임베딩 기법으로 주변 단어의 유사성을 이용하여 각 단어에 대한 벡터를 학습한다. Word2Vec에는 Continuous Bag of Words(CBOW) 모델과 Ski..