N-gram이란?n-gram은 텍스트나 시퀀스에서 연속적으로 나타나는 n개의 항목(단어, 문자 등)을 의미한다. n-gram은 한 단어 이상의 단어 시퀀스를 분석 대상으로 한다. 예를 들어, "I love programming"이라는 문장에서 2-gram(bigram)은 "I love", "love programming" 등이 된다. n-gram은 텍스트의 구조와 패턴을 파악하는 데 유용하여 자연어 처리에서 많이 사용된다. n의 크기에 따라 unigram(1-gram), bigram(2-gram), trigram(3-gram) 등으로 나타낼 수 있다. 마르코프 가정n-gram에서 중요한 개념 중 하나는 마르코프 가정이다. 마르코프 가정은 주어진 시퀀스에서 다음 상태나 사건의 확률이 오직 현재 상태에만 의..

프롬프트 엔지니어링은 인공지능(AI)에게 특정 작업을 수행하도록 지시하는 기술로, 사용자가 원하는 결과를 정확히 얻기 위해 설계된 지침을 제공하는 것을 말합니다. 이를 통해 AI 모델은 사용자의 의도를 이해하고, 적합한 응답을 생성할 수 있습니다. 이 기술은 특히 생성형 AI와의 상호작용에서 핵심적인 역할을 하며, AI가 복잡한 요청을 처리하는 데 필요한 방향성을 제공합니다.프롬프트 엔지니어링의 중요성프롬프트 엔지니어링은 AI가 단순히 데이터를 처리하는 데 그치지 않고, 사람과의 협업을 통해 문제를 해결하는 데 활용될 수 있도록 돕습니다. 잘 설계된 프롬프트는 다음과 같은 장점을 제공 합니다.프롬프트 엔지니어링의 주요 장점높은 정확성명확하고 구체적인 지침을 통해 사용자는 더욱 정확한 정보를 얻을 수 있습..

차원 축소는 데이터의 차원을 줄여서 데이터를 간결하게 만드는 기술이다. 시각화, 데이터 축소, 노이즈 제거, 성능 향상 및 계산 시간 감소를 위해 사용한다. 대표적인 차원 축소 알고리즘으로는 PCA, t-SNE, LDA가 있으며, 각 알고리즘은 장점과 단점이 있다. 차원 축소는 머신 러닝 모델의 성능에 긍부적 적인 영향을 미치며, 특성 선택과 차원 축소는 정보 유지와 계산 효율성 측면에서 차이가 있다.서론차원의 저주보통 우리가 생각하는 데이터는 여러 가지 정보로 이루어져 있다. 온라인 쇼핑 사이트에서 상품을 구매할 때를 예를 들자면 상품의 가격, 색상, 브랜드, 평점 및 후기 등 여러 정보가 있다. 이러한 정보를 차원이라고 한다. 하지만 데이터의 차원(정보)이 많아질수록 데이터가 복잡해져 분석하거나 활용..

해당 게시물은 Torch Vision의 객체 감지 미세조정 튜토리얼을 참고하여 작성되었습니다.Pytorch에서 제공하는 Coco 데이터로 사전 훈련된 FasterRCNN을 활용하여 보행자 감지(detection) 및 분할(segmentation)을 위해 Penn-Fudan 데이터로 파라미터 튜닝을 진행합니다. Penn-Fudan 데이터는 345개의 보행자 정보가 포함된 총 170개의 이미지가 포함되어 있습니다.실습 준비Download최초 1회 아래의 주석을 풀어 cutom function과 Penn-Fudan 데이터를 다운로드합니다.# !wget https://raw.githubusercontent.com/pytorch/vision/main/references/detection/engine.py# !wg..

최근 생성형 AI가 굉장히 많은 주목을 받고 있다. OpenAI, Google, Meta 등 거대 기업들을 필두로 생성형 AI는 빠른 발전을 이루고 있는다. 이러한 생성형 AI를 사용자들이 더 손쉽게 사용하게 도와주는 OllaMa와 Python 라이브러리가 발표되어 간단하게 알아 보았다.이번 포스트에서는 아래의 2가지를 중점으로 알아본다.1. Terminal 환경에서 Ollama 사용하기 (w. LLaMa2)2. Ollama Python 라이브러리 사용하기Terminal 환경에서 Ollama 사용하기 (w.LLama2)소제목https://ollama.com/download 에서 자신의 OS에 맞는 설치 파일을 다운 받아 설치한다.e.g) 리눅스 $curl -fsSL https://ollama.com/in..