백만 개의 컨텍스트 토큰은 기억이 아니며 혼란으로 인해 사람들에게 비용이 발생합니다.

올해의 모델 출시는 컨텍스트 창에서 경쟁했습니다. 여기서는 백만 개의 토큰, 저기에서는 105만 개의 토큰이 있었습니다. 마케팅은 약속을 의미합니다. 모델은 모든 것을 담을 수 있습니다. 내 동료는 약속을 문자 그대로 받아들이고 전체 프로젝트 아카이브를 하나의 채팅에 업로드했으며 이전보다 더 나쁜 답변을 받기 시작했습니다. 그는 모델이 더 멍청해졌다고 생각했습니다. 주의가 산만해졌습니다.

컨텍스트 창은 파일링 시스템이 아닌 작업 메모리입니다. 그 안에 있는 모든 것은 매 순간 관심을 끌기 위해 경쟁합니다. 1년 분량의 문서를 붙여 넣으면 실제 질문은 경기장에서 속삭이는 것입니다. 모델은 귀하의 아카이브를 '알지' 못합니다. 동일한 관심 예산으로 매번 모든 아카이브를 읽으며 관련성은 양에 따라 희석됩니다. 더 많은 맥락은 더 많은 지식이 아닙니다. 답변 당 더 많은 소음이 있습니다.

실질적인 해결책은 기계가 기억하기를 신뢰하기 전에 사람들이 하던 일, 즉 큐레이션입니다. 내가 얻는 가장 좋은 답변은 300개가 아닌 3개의 관련 문서를 포함시킨 채팅에서 나왔습니다. 검색(올바른 페이지를 찾는 모델 또는 도구)은 제가 실행한 모든 테스트에서 덤핑을 능가합니다. 이것이 바로 다양한 '지식 기반' 기능이 실제로 수행하는 기능이며 모든 것을 붙여넣는 방식보다 성능이 뛰어난 이유입니다.

습관 자체를 없애야 하는 비용 측면이 있습니다. 컨텍스트의 토큰은 대화의 매 단계마다 귀하가 지불하는 토큰입니다. 내 동료의 메가 채팅은 하나의 파일에 대한 질문에 답하기 위해 전체 아카이브를 다시 읽고 사용량 한도를 태우고 있었습니다. 효율성과 품질은 같은 방향을 가리켰습니다. 즉, 더 작아졌습니다.

나에게 도움이 된 정신적 모델은 컨텍스트 창을 창고가 아닌 책상처럼 취급하는 것입니다. 당신은 책상 위에 10개의 관련 서류를 가지고 잘 일합니다. 당신은 창고에 서서 열심히 일합니다. 창고는 훌륭합니다. 검색 가능한 곳에 아카이브를 보관하세요. 실제로 생각해야 할 때 올바른 폴더를 책상으로 가져오세요.