LLM모델별 컨텍스트 사이즈 최대활용 가능?
실제로 모델이 제공하는 컨텍스트 사이즈를 최대활용이 가능한가라는 의문에서 시작했다. “이론적으로 32k, 64k, 100k+” 같은 큰 컨텍스트를 지원한다고 알려진 모델들도 실제로는 해당 최대 길이에 도달하기 전부터 성능이 크게 저하되거나, 안정적으로 높은 정확도를 유지하지 못한다는 점을 확인할 수 있습니다. 즉, 모델이 명시적으로 ‘최대 컨텍스트 길이’를 제공한다고 해도, 실제로 그 전 구간에서 이미 성능이 무너질 수 있다는 것 이 표는 “큰 컨텍스트 사이즈”가 곧바로 “안정적으로 높은 정확도”를 의미하지 않는다는 사실을 잘 보여주며, 모델 선택 시 이론상 최대 컨텍스트 길이와 실제 활용 가능한 길이를 구분해봐야 한다는 점 보여주는 중요자료이다. 1.명시된 최대 컨텍스트와 실제 활용 가능 컨텍스트..
