컨텍스트 창 거짓말로 인해 실제 결정이 거의 불가능해졌습니다.

나는 1년 동안 큰 맥락의 피치를 샀다. 전체 드라이브를 한 번에 읽는 모델은 더 똑똑할 것입니다. 그렇죠? 그런 다음 200페이지짜리 계약서를 건네주고 무엇에 동의하는지 물었고 실제로 중요한 세 가지 조항이 누락된 자신감 있고 깔끔한 요약을 제공했습니다.

여기에 거짓말이 있습니다. 컨텍스트 창 크기는 이해력으로 판매됩니다. 그렇지 않습니다. 모델은 백만 개의 토큰을 보유하고 있어도 여전히 잘못된 문장에 집착할 수 있습니다. 숫자는 붙여넣을 수 있는 양을 알려주는 것이지, 안에 무엇이 들어 있는지에 대해 얼마나 잘 추론하는지는 알려주지 않습니다. 나는 이해를 위해 저장소를 혼동했습니다.

실제로 바늘을 움직인 것은 질문의 범위를 좁히는 것이었습니다. '이것을 요약하라'는 대신 '책임에 관한 모든 조항을 나열하고 인용하라'고 묻기 시작했습니다. 동일한 모델, 동일한 문서, 완전히 다른 대답입니다. 왜냐하면 저는 그것이 광범위하게 똑똑해지기를 요구하는 것을 멈추고 좁게는 옳기를 요구하기 시작했기 때문입니다.

함정은 거대한 컨텍스트 창을 모든 것을 버리고 생각을 멈출 수 있는 권한으로 취급합니다. 이는 보장이 아니라 편의를 위한 것이며, 창이 클수록 모델이 의도한 바를 이해했다고 가정하기가 더 쉽습니다. 그렇지 않았습니다. 당신은 여전히 그것을 지적해야합니다.

이제 내 규칙은 작고 구체적이며 검증 가능한 질문이 하나의 큰 덤프보다 낫다는 것입니다. 컨텍스트 창은 뇌가 아닌 주차장이고, 주차장의 크기를 자동차가 얼마나 잘 운전하는지 착각하는 것을 멈췄습니다.