더 큰 컨텍스트 창은 AI 답변을 더 좋게 만들지 않습니다.

컨텍스트 창이 100배 증가한 반면 내 답변은 두 배 정도 향상되었으며, 그 숫자 사이의 격차는 현재 대부분의 나쁜 AI 경험이 존재하는 곳입니다. 마케팅은 더 많은 맥락이 더 많은 이해와 같다는 것을 의미하지만 모델은 원하는 방식으로 백만 개의 토큰을 읽지 않습니다. 그들은 주의를 고르지 않게 할당하며 주의는 실제로 희소한 자원입니다.

내 자신의 실험이 계속해서 그것을 확인하고 있습니다. 40페이지의 문서와 하나의 질문이 제공된 모델은 일반적으로 세 개의 관련 페이지가 제공될 때 더 나은 답변을 제공합니다. 검색과 작은 창을 함께 사용하는 것이 무차별 포함을 능가하기 때문입니다. 긴 맥락은 기억이 아니라, 같은 손전등을 가진 더 큰 방이며, 중요한 것은 손전등이 어디를 가리키는가이다.

이것이 바로 실무 기술이 프롬프트 엔지니어링에서 컨텍스트 큐레이션으로 전환된 이유입니다. 지금 내가 얻는 최고의 결과는 모델이 볼 필요가 없는 것을 결정하는 것에서 나옵니다. 즉, 상용구를 제거하고, 접선을 자르고, 처음에 중요한 제약 조건을 설정하고 마지막에 이를 반복합니다. 큐레이션은 더 큰 창구의 마케팅에서 쓸모없어야 한다고 말하는 매력 없는 작업이지만, 완고하게 그렇지 않습니다.

실제 예외, 전체 코드베이스 이해, 몇 시간 분량의 기록 및 크레딧이 필요한 경우가 있습니다. 그러나 거기에서도 승리하는 도구는 원시 포함보다는 검색 및 요약을 통해 관심을 관리하는 도구입니다.

테이크아웃은 수축되고 유용합니다. 창이 더 크다고 해서 그 안에 무엇이 들어갈지 생각할 필요가 없습니다. 모델의 책상은 더 커졌습니다. 작업은 여전히 ​​무엇을 넣을지 결정하는 사람에 의해 이루어지며, 현재로서는 그 사람이 바로 당신입니다.