트랜스포머는 2017년 구글 브레인이 발표한 딥러닝 아키텍처다. 이 구조 하나가 GPT, Claude, Gemeni 등 현재 주요 AI 모델의 기반이 됐다. 트랜스포머 이전에도 딥러닝은 있었지만, AI를 쓰는 방식 자체를 바꾼 건 트랜스포머 이후의 일이다. 나는 트랜스포머 이전 시대에 모델을 직접 학습시켜 본 경험이 있다. 데이터를 모으고, 전처리하고, 학습 파이프라인을 짜고, 파인튜닝까지 거쳐야 겨우 쓸 만한 모델이 … 더 읽기
N-gram 은 앞 N-1 개 단어만 보고 다음 단어를 확률로 맞추는 가장 단순한 통계 언어 모델이다. 오늘날 LLM 의 출발점으로 불리며, 지난 50여 년 동안 자연어 처리 기술의 기반 역할을 해왔다. 트랜스포머가 가져온 변화를 이해하려면 이 출발점부터 알아야 한다. 처음 N-gram 을 만난 건 2020년이었다. 자연어 처리를 막 공부하던 시기였고, BERT가 한창 화제였지만 교과서는 여전히 … 더 읽기
