Sonnet 5.5 tuyên bố nhanh hơn 30%. Hộp thư đến của tôi nhận thấy điều gì đó khác biệt

Sonnet 5.5 ra mắt với những con số: sản lượng nhanh hơn 30%, chi phí cho mỗi nhiệm vụ thấp hơn tới 30%, Terminal-Bench ở mức 70,6% so với 10,3% của Sonnet 5. Khỏe. Điểm chuẩn không thanh toán hóa đơn của tôi, vì vậy tôi đã chạy một thử nghiệm có chủ ý - một ngày thứ Hai đầy đủ trong công việc thực tế của tôi hai lần, một lần trên mỗi mô hình, các nhiệm vụ giống nhau, thời gian của riêng tôi.

Các nhiệm vụ này thật vô vị: mười bốn email khách hàng, viết lại bản tóm tắt dự án, một số đoạn hợp đồng có dấu chấm hỏi, một bảng tóm tắt kết quả khảo sát và bản thảo bản tin hàng tuần. Chính xác là 'công việc hàng ngày có phạm vi rộng' Anthropic tuyên bố Sonnet 5.5 được xây dựng dành cho. Trên Sonnet 5, các phần AI trong ngày mất khoảng 2 giờ. Vào ngày 5.5, khoảng 80 phút.

Nhưng phát hiện thú vị không phải là số phút. Với mô hình cũ, mô hình của tôi là theo đợt và chờ đợi - xếp hàng một số lời nhắc, chuyển sang thứ khác, rồi quay lại. Với cái nhanh hơn, tôi đã ngừng trộn. Hỏi, nhận, tiếp tục, hỏi lại. Quy trình làm việc đã thay đổi hình dạng do độ trễ vượt quá ngưỡng chuyển đổi sự chú ý của tôi. Con số này đáng giá hơn 30% thô và đó là lý do tại sao việc cải thiện tốc độ lại tăng lên một cách kỳ lạ.

Chất lượng được duy trì ở những nơi tôi có thể đo lường được. Các bản nháp email cần có số lần chỉnh sửa như nhau, bản tóm tắt được cho là chặt chẽ hơn và các câu trả lời trong hợp đồng đều gắn cờ các điều khoản giống nhau. Bước nhảy vọt của Terminal-Bench cho thấy mức tăng năng lực thực sự đối với mã hóa tác nhân, điều mà cá nhân tôi không thể xác minh trong một ngày phân loại email - nhưng không có gì trở nên tồi tệ hơn trong làn đường của tôi.

Việc cắt giảm chi phí là cuộc cách mạng thầm lặng ở đây. Hóa đơn hàng tháng của tôi với cùng một khối lượng công việc giảm đi đáng kể và đối với các nhóm thực hiện hàng nghìn nhiệm vụ mỗi ngày, 30% là phép toán về số lượng nhân viên. Đối với tôi, đó là sự khác biệt giữa việc đăng ký rõ ràng là đáng giá so với việc tôi nhún vai khi gia hạn. Rẻ và nhanh là cách AI không còn là mục hàng mà bạn nghĩ tới.