AI API 동작 원리, 질문 하나가 답이 되기까지 거치는 6단계
챗GPT에 질문을 던지면 몇 초 안에 답이 온다. 그 사이에 내 질문은 인터넷을 건너 데이터센터의 GPU까지 갔다가, 토큰 단위로 쪼개지고, 다시 돌아온다. AI API 동작 원리를 알면 왜 느릴 때가 있고, 왜 그만큼 비용이 드는지 구조적으로 이해할 수 있다. 처음 API를 직접 호출했을 때, 응답이 돌아오기까지의 지연이 단순한 네트워크 문제가 아니라는 걸 알게 됐다. 토크나이징, … 더 읽기