모두가 백만 개의 토큰 컨텍스트를 쫓습니다. 대부분의 작업에는 필요하지 않습니다.
GPT-6.1 Sol은 이제 백만 개의 토큰 컨텍스트를 제공하며 숫자 전쟁이 진행 중입니다. 나는 내 작업의 대부분이 그것이 필요하지 않으며 그것을 쫓는 것이 결과를 더 나쁘게 만들 수 있다는 것을 말하려고 여기에 왔습니다.
컨텍스트가 클수록 더 많은 오류가 발생하고, 더 많은 비용을 지불해야 하며, 실제로 관심 있는 스레드를 모델에서 잃을 수 있는 위치가 더 많아집니다. 크기는 관련성과 동일하지 않습니다.
긴 문서 작업의 경우에는 창구를 알려주십시오. 일상적인 질문의 경우, 촘촘하고 범위가 넓은 프롬프트가 매번 맥락을 파악하는 것보다 더 효과적입니다.
업무와 상황을 일치시키세요. 가장 큰 맥락은 기능이 아니라 유연성이며, 이를 하나의 맥락으로 취급하면 길고 비용이 많이 들고 이상하게 유용성이 떨어지는 답변이 생성됩니다.
