AI 토큰의 정의와 한국어가 영어보다 2~3배 비싼 이유
AI 토큰은 ChatGPT 같은 AI 모델이 문장을 읽을 때 사용하는 단위다. 우리가 보는 글자를 그대로 읽는 게 아니라, 단어와 문자 묶음을 잘게 나눠 처리한다. 한국어는 영어보다 2~3배 더 많은 토큰을 쓰는 경우가 많아서, 같은 질문이라도 한국어 사용자가 비용과 속도 면에서 더 불리해질 수 있다. GPT-3 가 처음 나왔을 때는 한국어 프롬프트 품질이 지금보다 훨씬 불안정했다. … 더 읽기