트랜스포머는 2017년 구글 브레인이 발표한 딥러닝 아키텍처다. 이 구조 하나가 GPT, Claude, Gemeni 등 현재 주요 AI 모델의 기반이 됐다. 트랜스포머 이전에도 딥러닝은 있었지만, AI를 쓰는 방식 자체를 바꾼 건 트랜스포머 이후의 일이다. 나는 트랜스포머 이전 시대에 모델을 직접 학습시켜 본 경험이 있다. 데이터를 모으고, 전처리하고, 학습 파이프라인을 짜고, 파인튜닝까지 거쳐야 겨우 쓸 만한 모델이 … 더 읽기
AI 토큰은 ChatGPT 같은 AI 모델이 문장을 읽을 때 사용하는 단위다. 우리가 보는 글자를 그대로 읽는 게 아니라, 단어와 문자 묶음을 잘게 나눠 처리한다. 한국어는 영어보다 2~3배 더 많은 토큰을 쓰는 경우가 많아서, 같은 질문이라도 한국어 사용자가 비용과 속도 면에서 더 불리해질 수 있다. GPT-3 가 처음 나왔을 때는 한국어 프롬프트 품질이 지금보다 훨씬 불안정했다. … 더 읽기
