컨텍스트 창은 물건을 잃어버릴 수 있는 더 큰 방입니다

백만 개의 토큰 컨텍스트는 메모리 관리의 필요성을 없애는 것처럼 들립니다. 그렇지 않습니다. 창이 더 크다는 것은 모델이 중요한 부분을 조용히 잊을 수 있는 공간이 더 많다는 것을 의미합니다.

긴 문서를 붙여넣고 50페이지 토론 후 1페이지에 대해 질문을 했습니다. 모델이 최근 항목, 창 여부에 가중치를 두었기 때문에 대답이 표류했습니다. 길이는 이해력이 아닙니다.

승리하는 도구는 가장 큰 숫자를 가진 도구가 아니라 올바른 조각을 검색하고 나머지를 요약하여 가져온 내용을 확인할 수 있는 도구입니다. 검색 기능이 없는 창은 물건을 잃어버릴 수 있는 더 큰 방입니다.

컨텍스트 크기를 기준으로 모델을 선택하지 마세요. 보고 있는 내용이 표시되는지 여부를 기준으로 선택하세요. 검색이 잘되는 작은 창은 매번 작업을 숨기는 큰 창보다 좋습니다.