Ước tính thành công so sánh của các tài liệu quảng cáo khác nhau

Vấn đề thực tế

Một trong những khách hàng của tôi đang chuẩn bị gửi một người gửi thư trực tiếp đến danh sách người dùng đã đăng ký của họ và thách thức thống kê này đã xuất hiện.

Đội ngũ tiếp thị của họ có 3 tài liệu quảng cáo khác nhau và muốn biết tài liệu nào nhận được tỷ lệ phản hồi cao nhất. Họ cũng muốn biết nếu gửi bưu phẩm có địa chỉ viết tay, trên một phong bì dày, sẽ cải thiện kết quả so với một phong bì thông thường.

Hãy giả sử như sau:

Đối với mỗi tài liệu ( ), một người nhận tài liệu đó thực sự mở nó và đọc nó sẽ trả lời với xác suất , trong đó là tỷ lệ phản hồi thực sự cho tài liệu đó $b_i$ $i = 1,2,3$ $r_i$ $r_i$
Các phong bì dày, chất lượng cao có tỷ lệ mở thực sự là trong khi các phong bì thông thường có tỷ lệ mở là $o_{thick}$ $o_{normal}$
Từ các thư trước, chúng tôi hy vọng tỷ lệ phản hồi được quan sát thực tế sẽ nằm trong khoảng từ 1% đến 5%.

Mục tiêu của chúng tôi

Chúng tôi muốn tìm tài liệu tốt nhất trong khi gửi số lượng người gửi thư ít nhất. Chúng tôi cũng muốn ước tính hai tỷ lệ mở.

Khi thu thập tỷ lệ phản hồi theo kinh nghiệm từ các thư được gửi thực tế, nếu chênh lệch thực giữa tỷ lệ phản hồi lớn hơn một nửa phần trăm, chúng ta sẽ có thể phát hiện sự khác biệt đó có ý nghĩa thống kê với $r_i$ $p < .05$

Suy nghĩ của tôi cho đến nay

Chúng tôi chỉ định ngẫu nhiên người dùng cho mỗi trong số 3 tài liệu quảng cáo, sao cho người dùng nhận được mỗi tập tài liệu. Chúng tôi muốn biết chúng tôi cần gì để đạt được độ nhạy mong muốn trong việc phát hiện sự khác biệt về tỷ lệ phản hồi. Giả sử trường hợp xấu nhất, chúng ta cần có khả năng phát hiện sự khác biệt giữa tỷ lệ thực 1% và 1,5%. SD cho sự khác biệt này là . Đặt hai lần số lượng đó (2 độ lệch chuẩn cho chúng tôi độ tin cậy 95%) bằng 0,005 (nửa phần trăm mong muốn của chúng tôi) dẫn đến giải pháp . $N$ $N$ $\sqrt{\frac{(.01*.99) + (.015*.985)}{N}}$ $N = 3948$

Câu hỏi

Đây có phải là thiết kế tối ưu hay chúng ta có thể làm tốt hơn?
Tính toán của tôi về đúng không? $N$

Cuối cùng, cách tốt nhất để ước tính và , hay đơn giản là sự khác biệt giữa hai? $o_{normal}$ $o_{thick}$

Ý tưởng của tôi là chỉ định ngẫu nhiên một nửa của mỗi nhóm tài liệu cho từng loại phong bì. Trong mỗi nhóm tài liệu, tỷ lệ phản hồi được quan sát sẽ là sản phẩm của tỷ lệ mở và . Điều này sẽ làm phức tạp tính toán của tôi về ở trên, vì thực sự tôi nên sử dụng sản phẩm này trong tính toán của mình. $r_i$ $N$

Câu trả lời của tôi sau đó sẽ phụ thuộc vào ước tính tỷ lệ mở trung bình - - mà tôi phải đoán. Ngoài ra, tôi không chắc chắn làm thế nào để xác định phân phối chênh lệch giữa và , vì hiện tại chúng tôi có ba ước tính khác nhau về sự khác biệt đó, mỗi ước tính phụ thuộc vào một khác nhau , mỗi loại chúng tôi có chỉ ước tính theo kinh nghiệm, ước tính theo kinh nghiệm mà bản thân chúng phụ thuộc vào dự đoán của chúng tôi ở tỷ lệ mở trung bình. $\frac{o_{normal} + o_{thick}}{2}$ $o_{normal}$ $o_{thick}$ $r_i$

Cảm ơn rất nhiều cho bất kỳ sự giúp đỡ với điều này.

hypothesis-testing anova statistical-significance

— Giô-na
nguồn

Đây là một thử nghiệm suy nghĩ cần xem xét trước khi đi quá xa: Giả sử hai kịch bản A và B. Trong kịch bản A, mỗi người nhận nhận được thư của họ, mở nó, sau đó lật một đồng xu với xác suất

để quyết định có trả lời hay không. Trong Kịch bản B, người nhận của bạn nhìn vào thư họ nhận được, lật một đồng xu với xác suất

và mở thư nếu nó xuất hiện; họ háo hức trả lời bất kỳ lời đề nghị nào có trong thư họ mở và loại bỏ bất kỳ thư nào họ không mở.

r_{i}

$r_i$

r_{i}

$r_i$

— Đức hồng y

Xin chào, tôi nghĩ rằng mô hình chính xác nhất thực sự là sự kết hợp giữa A và B. Hãy nghĩ về cách bạn thực sự đối phó với thư rác. Cá nhân, dựa trên phong bì và dấu bưu điện, tôi sẽ chỉ cần vứt bỏ phần lớn nó chưa mở. Nhưng nếu tôi mở nó, tiếp thị bên trong thì cần phải thu hút sự chú ý của tôi và thuyết phục tôi. Nếu chúng ta nghĩ rằng người đưa thư của chúng ta là một anh hùng trong một nhiệm vụ, anh ta phải giết hai con rồng độc lập để cứu công chúa. Và với tư cách là nhà thiết kế thử nghiệm, chúng tôi đang cố gắng đo lường sức khỏe tương đối của các anh hùng khác nhau trong nhiệm vụ tiêu diệt 2 con rồng khác nhau này.

— Giô-na

Tôi đồng ý rằng mọi người thường không hành động quá khích, nhưng quan điểm của việc đưa ra các kịch bản là kích thích một số suy nghĩ về những gì có thể và không thể ước tính được từ dữ liệu của bạn (mà không đưa ra các giả định ngầm định và khá mạnh mẽ). Trong một kịch bản, tỷ lệ phản hồi được quan sát hoàn toàn đến từ một quyết định trả lời ngẫu nhiên trong khi trong lần thứ hai, nó hoàn toàn đến từ một quyết định mở thư ngẫu nhiên!

— Đức hồng y

Vâng, tôi nghĩ rằng mô hình đơn giản hơn mà thí nghiệm suy nghĩ của bạn gợi ý dẫn đến một vấn đề dễ giải quyết hơn nhiều. Tôi chỉ có thể nghĩ về việc thử nghiệm 6 kịch bản (mỗi phong bì với mỗi tờ rơi) và kiểm tra sự khác biệt bằng cách sử dụng một phương pháp tương tự như trong phần "Suy nghĩ của tôi ...". Nhưng tôi nghi ngờ rằng điều đó sẽ dẫn đến việc gửi nhiều thư hơn là một giải pháp cho mô hình hai tầng phức tạp hơn. Vấn đề là tôi không biết phân phối mà mô hình hai tầng phát sinh là gì, vì vậy tôi không biết cách kiểm tra nó - do đó, bài đăng :)

— Jonah

$n= 16\sigma^2/\Delta^2$ $\sigma$ $\Delta$

Ngoài ra, có các thiết kế giai thừa phân đoạn có sẵn cho phép bạn tối ưu hóa số lượng thử nghiệm (giả sử bạn không muốn đo lường sự tương tác của từng yếu tố với mọi yếu tố khác). Đây là một bài khảo sát về thiết kế thí nghiệm mô tả các chi tiết.

— wợi
nguồn

$A$ $B$ $a$ $A$ $b$ $B$ $b>a$

$P = {\sum_{n=b}^{a+b} C^{a+b}_n \over 2^{a+b}}$

Không quan trọng có bao nhiêu người dùng nhận được tài liệu quảng cáo của bạn, chỉ có bao nhiêu người trả lời.

— người dùng31264
nguồn