AI 트랜스포머가 바꾼 판, 만드는 AI에서 쓰는 AI로

AI 트랜스포머 등장 이후 달라진 인공지능 활용 방식을 보여주는 썸네일

트랜스포머는 2017년 구글 브레인이 발표한 딥러닝 아키텍처다. 이 구조 하나가 GPT, Claude, Gemeni 등 현재 주요 AI 모델의 기반이 됐다. 트랜스포머 이전에도 딥러닝은 있었지만, AI를 쓰는 방식 자체를 바꾼 건 트랜스포머 이후의 일이다. 나는 트랜스포머 이전 시대에 모델을 직접 학습시켜 본 경험이 있다. 데이터를 모으고, 전처리하고, 학습 파이프라인을 짜고, 파인튜닝까지 거쳐야 겨우 쓸 만한 모델이 … 더 읽기

N-gram, 트랜스포머 시대에도 알아야 할 가장 단순한 언어 모델

N-gram 통계 언어 모델의 정의와 LLM 시대 의미

N-gram 은 앞 N-1 개 단어만 보고 다음 단어를 확률로 맞추는 가장 단순한 통계 언어 모델이다. 오늘날 LLM 의 출발점으로 불리며, 지난 50여 년 동안 자연어 처리 기술의 기반 역할을 해왔다. 트랜스포머가 가져온 변화를 이해하려면 이 출발점부터 알아야 한다. 처음 N-gram 을 만난 건 2020년이었다. 자연어 처리를 막 공부하던 시기였고, BERT가 한창 화제였지만 교과서는 여전히 … 더 읽기

광고 차단 알림

광고 클릭 제한을 초과하여 광고가 차단되었습니다.

단시간에 반복적인 광고 클릭은 시스템에 의해 감지되며, IP가 수집되어 사이트 관리자가 확인 가능합니다.