Ollama와 Python 라이브러리를 이용하여 LLaMa2를 로컬에서 사용하기
·
AI/Large Language Model
최근 생성형 AI가 굉장히 많은 주목을 받고 있다. OpenAI, Google, Meta 등 거대 기업들을 필두로 생성형 AI는 빠른 발전을 이루고 있는다. 이러한 생성형 AI를 사용자들이 더 손쉽게 사용하게 도와주는 OllaMa와 Python 라이브러리가 발표되어 간단하게 알아 보았다.이번 포스트에서는 아래의 2가지를 중점으로 알아본다.1. Terminal 환경에서 Ollama 사용하기 (w. LLaMa2)2. Ollama Python 라이브러리 사용하기Terminal 환경에서 Ollama 사용하기 (w.LLama2)소제목https://ollama.com/download 에서 자신의 OS에 맞는 설치 파일을 다운 받아 설치한다.e.g) 리눅스 $curl -fsSL https://ollama.com/in..
Retrieval-Augmented Generation (RAG, 검색-증강 생성)
·
AI/Large Language Model
RAG(Retrieval-Augmented Generation)는 LLM (Large Language Model)를 더 효과적으로 활용하는 방법론이다. RAG는 사전 훈련된 LLM의 장점을 외부 지식과 결합하여 제공한다. 기본 아이디어는 특정 질문이나 주제에 대한 응답을 생성할 때, 모델이 실시간으로 외부 지식을 참조하여 더 정확하고 풍부한 정보를 제공하는 것이다. 이로 인해 RAG는 기존의 언어 모델이 가진 한계를 극복하며, 특히 최신 정보나 복잡한 주제에 대한 질문에 대한 답변을 생성하는 데 있어 뛰어난 성능을 보인다.RAG란 무엇인가?RAG(Retrieval-Augmented Generation)는 최근 자연어 처리 분야에서 주목받는 기술이다. 이 기술의 핵심은 두 가지 주요 요소를 결합하는 것에 ..
클라우드 컴퓨팅
·
Development/Cloud & DevOps
클라우드 컴퓨팅은 여러 사용자가 자원을 공유하며 동시에 작업할 수 있게 해주는 기술로, 물리적 자원의 가상화를 통해 사용자에게 유연하고 확장 가능한 환경을 제공합니다. 네트워크를 통해 여러 컴퓨터가 공통 작업을 처리하는 그리드 컴퓨팅은 대규모 작업을 신속하게 처리할 수 있으며, 자원을 패키지 형태로 제공해 사용자 요청에 따라 활용할 수 있는 유틸리티 컴퓨팅은 컴퓨팅 자원에 대한 초기 투자 비용을 절감시킵니다. 또한, 여러 컴퓨터가 하나의 객체처럼 운영되어 처리 속도와 확장성을 높이는 클러스터 컴퓨팅은 대규모 작업을 처리하는 데 적합합니다.엣지 컴퓨팅은 클라우드 컴퓨팅의 트래픽 과부하와 신호 지연을 줄이기 위해 데이터를 사용자 근처에서 처리하는 방식으로, 실시간 데이터 처리에 유리합니다. 클라우드 컴퓨팅은..