최근 생성형 AI가 굉장히 많은 주목을 받고 있다. OpenAI, Google, Meta 등 거대 기업들을 필두로 생성형 AI는 빠른 발전을 이루고 있는다. 이러한 생성형 AI를 사용자들이 더 손쉽게 사용하게 도와주는 OllaMa와 Python 라이브러리가 발표되어 간단하게 알아 보았다.이번 포스트에서는 아래의 2가지를 중점으로 알아본다.1. Terminal 환경에서 Ollama 사용하기 (w. LLaMa2)2. Ollama Python 라이브러리 사용하기Terminal 환경에서 Ollama 사용하기 (w.LLama2)소제목https://ollama.com/download 에서 자신의 OS에 맞는 설치 파일을 다운 받아 설치한다.e.g) 리눅스 $curl -fsSL https://ollama.com/in..

RAG(Retrieval-Augmented Generation)는 LLM (Large Language Model)를 더 효과적으로 활용하는 방법론이다. RAG는 사전 훈련된 LLM의 장점을 외부 지식과 결합하여 제공한다. 기본 아이디어는 특정 질문이나 주제에 대한 응답을 생성할 때, 모델이 실시간으로 외부 지식을 참조하여 더 정확하고 풍부한 정보를 제공하는 것이다. 이로 인해 RAG는 기존의 언어 모델이 가진 한계를 극복하며, 특히 최신 정보나 복잡한 주제에 대한 질문에 대한 답변을 생성하는 데 있어 뛰어난 성능을 보인다.RAG란 무엇인가?RAG(Retrieval-Augmented Generation)는 최근 자연어 처리 분야에서 주목받는 기술이다. 이 기술의 핵심은 두 가지 주요 요소를 결합하는 것에 ..

최근 Google에서 Gemini를 발표했습니다. 이어서 구글 Bard를 Gemini로 이름을 바꿨는데요. OpenAI의 ChatGPT처럼 웹 버전과 API 버전을 모두 지원합니다. 이번 포스팅에서는 Gemini를 API로 사용해 보는 방법에 대해 소개하겠습니다. Google AI for Developers의 Quickstarts를 참고했습니다.API키 발급받기Gemini는 Google AI Dev에서 API키를 발급 받을 수 있습니다.아래 링크로 접속하셔서 위 이미지에서 보이는 Get Gemini API Key in Google AI Studio를 클릭합니다.Google AI Dev왼쪽의 Get API Key를 클릭합니다.Create API Key를 눌러 API 키를 생성해주고, 해당 키를 잘 저장해 ..

Mistral 7B는 약 73억개의 파라미터를 가진 Large Language Model(LLM)으로 Llama2 13B보다 벤치마크 테스트에서 뛰어난 성능을 보입니다. Mistral 7B는 다른 LLM에 비해 상대적으로 크기가 작으며, 오픈 소스이고 접근성이 용이하여 파인 튜닝이 쉽다는 장점이 있습니다. 이제 Mistral 7B를 Alpaca, Stack Overflow, 의료 및 Quora 데이터 세트의 데이터가 혼합되어 있는 Gath baize 데이터셋을 통해 파인튜닝 해봅니다.해당 블로그는 Mistral-7B Fine-Tuning: A Step-by-Step Guide를 참조하여 작성하였습니다. 원본 코드, Huggingface1. 패키지 설치 및 로드# !pip install -q -U bits..