BLEU

N-gram 은 앞 N-1 개 단어만 보고 다음 단어를 확률로 맞추는 가장 단순한 통계 언어 모델이다. 오늘날 LLM 의 출발점으로 불리며, 지난 50여 년 동안 자연어 처리 기술의 기반 역할을 해왔다. 트랜스포머가 가져온 변화를 이해하려면 이 출발점부터 알아야 한다. 처음 N-gram 을 만난 건 2020년이었다. 자연어 처리를 막 공부하던 시기였고, BERT가 한창 화제였지만 교과서는 여전히 … 더 읽기