Chạy thử nghiệm A/B thực tế trên một trang đích đáng yêu (Không làm hỏng nó)

Trình tạo trang AI làm cho thử nghiệm A/B trở nên dễ dàng một cách nguy hiểm theo cách này và khó đến mức khó chịu theo cách khác: việc tạo lại một biến thể mất vài phút, nhưng việc tạo lại cũng thay đổi mọi thứ, điều này sẽ phá hủy thử nghiệm. Quy trình làm việc xử lý các biến thể dưới dạng các trang riêng biệt được vận chuyển riêng.

Xây dựng phiên bản A, đóng băng và triển khai nó vào URL chính của bạn. Sau đó, xây dựng phiên bản B dưới dạng một trang riêng biệt, chỉ thay đổi tên giả thuyết của bạn. 'Tiêu đề chính dài hơn sẽ chuyển đổi tốt hơn' là một thử nghiệm; 'Hãy để AI tạo ra một trang tốt hơn' là một máy đánh bạc. Quy tắc của tôi: hai trang khác nhau ở chính xác một thành phần và tôi có thể viết ra thành phần đó là gì.

Cơ chế phân chia nhàm chán và sẽ tiếp tục nhàm chán: chuyển hướng 50/50 đơn giản khi đến hoặc tính năng thử nghiệm của công cụ phân tích của bạn nếu có. Không cuộn logic bài tập bằng tay với sự trợ giúp của chatbot trừ khi bạn thích khám phá rằng khách truy cập quay lại nhìn thấy một phiên bản khác nhau trong mỗi lần truy cập, điều này lặng lẽ làm hỏng dữ liệu.

Quyết định số liệu và đích đến trước khi triển khai: một sự kiện chuyển đổi, mẫu tối thiểu và ngày theo lịch. Lỗi thử nghiệm trình xây dựng AI phổ biến nhất không phải là một thử nghiệm tồi, mà là một thử nghiệm bị bỏ rơi, bởi vì việc tạo lại trang trong quá trình kiểm tra giữa trang luôn chỉ cần một lần nhắc nhở. Đóng băng cả hai trang, viết ngày kết thúc lên lịch và không chạm vào gì cả.

Với những nguyên tắc đó, việc báo cáo kết quả thực tế sẽ cần một lời nhắc để xuất phân tích của bạn. Bài kiểm tra trung thực đầu tiên của tôi: anh hùng 'được cải tiến' của AI thua một chút, đó là kết quả có giá trị nhất có thể, bởi vì nó đã dạy cho tôi công cụ tối ưu hóa kiểu dáng theo mặc định và chỉ chuyển đổi nếu tôi đo lường nó.