AI/Deep Learning1
컨텍스트 한가운데에 정답을 두면 LLM 이 답하지 못한다 — Lost in the Middle
Lost in the Middle 은 거대 언어 모델(LLM) 이 긴 입력의 양 끝 정보는 잘 찾고 가운데에 묻힌 정보는 자주 지나치는 현상이다. 2023년 넬슨 리우(Nelson Liu) 등의 동명 논문이 처음 정량적으로 측정해 보였고, 이후 긴 컨텍스트 모델 평가의 출발점이 됐다.2024년 작은 사내 RAG(Retrieval-Augmented Generation, 외부 문서를 검색해서 그걸 보고 답을 만드는 방식) 프로젝트를 마무리하다 리랭킹(re-ranking) 을 찾아보던 중 이 개념을 처음 만났다. 모델이 받은 프롬프트 안에 정답 문장이 분명히 있는데도 답을 못 하는 일이 자꾸 생겼고, 처음엔 검색이 잘못된 줄 알았다. 정작 문제는 모델이 가운데에 놓인 정보를 지나친다는 데 있었다. 그 뒤로 컨..
반응형