Thử nghiệm tổng xếp hạng Wilcoxon có phải là thử nghiệm phù hợp để xem tổng số đóng góp có khác nhau không?

Lý lịch:

Phần mềm của tôi yêu cầu người dùng đóng góp tùy chọn với bất kỳ số tiền nào. Tôi chia các yêu cầu quyên góp thử nghiệm giữa những người dùng để tìm ra cách tốt nhất để hỏi: 50% nhận yêu cầu phiên bản 1, 50% nhận yêu cầu phiên bản 2 và chúng tôi xem cái nào tốt hơn.

Hầu như tất cả người dùng cho $ 0, nhưng một số ít đóng góp. Các kết quả có thể trông như thế này:

         Number of users  Number of donations   Dollar amounts donated
GROUP A  10,000           10                    40,20,20,20,15,10,10,5,5,5
GROUP B  10,000           15                    50,20,10,10,10,10,10,10,5,5,5,5,5,5,5

Tôi muốn biết nếu một nhóm là người chiến thắng, hoặc nếu đó là hòa, hoặc nếu chúng tôi cần một mẫu lớn hơn để đảm bảo. (Ví dụ này, được giữ đơn giản để thảo luận, gần như chắc chắn cần một mẫu lớn hơn để có kết quả quan trọng.)

Những gì tôi đo được:

1. Có phải một nhóm có số lượng đóng góp lớn hơn đáng kể ? Lớn hơn bao nhiêu? Tôi đo giá trị p và khoảng tin cậy này bằng công cụ ABBA Thumbtack , chỉ sử dụng số lượng đóng góp và số lượng người dùng, bỏ qua số tiền đô la. Phương pháp của nó được mô tả trong phần "Thống kê cơ bản là gì?" phần của liên kết đó. (Nó nằm trên đầu tôi, nhưng tôi tin rằng nó tính toán khoảng tin cậy bằng cách lấy chênh lệch giữa tỷ lệ quyên góp làm biến ngẫu nhiên bình thường trên khoảng Agresti-Couli.)
2. Đã một nhóm quyên góp một số tiền khác nhau đáng kể tổng tiền ? Tôi đo giá trị p này bằng cách thực hiện kiểm tra hoán vị: liên tục xáo trộn lại tất cả các đối tượng 2N thành 2 nhóm đối tượng N, đo lường sự khác biệt về tổng tiền giữa các nhóm mỗi lần và tìm tỷ lệ xáo trộn với chênh lệch> = quan sát được Sự khác biệt. (Tôi tin rằng điều này là hợp lệ dựa trên video này của Khan Academy làm điều tương tự cho các cracker thay vì đô la.)

R's wilcox.test:

Một vài câu hỏi bây giờ về wilcox.test()R:

1. Nếu tôi cung cấp wilcox.test(paired=FALSE)bảng dữ liệu ở trên, nó có trả lời bất kỳ câu hỏi mới nào chưa được trả lời bởi các công cụ của tôi ở trên không, giúp tôi hiểu rõ hơn về việc quyết định có nên tiếp tục chạy thử nghiệm / tuyên bố người chiến thắng / tuyên bố hòa không?
2. Nếu vậy, câu hỏi chính xác nó sẽ trả lời?

wilcox.test()pairedRFALSE$U$

Điều đó không tấn công tôi như là một phù hợp tốt cho mục tiêu của bạn. Bạn muốn có tổng số tiền nhiều nhất, có thể hiểu là số tiền quyên góp trung bình lớn nhất nhân với số lượng người dùng. Có thể, do sai lệch, một phiên bản có thể có giá trị trung bình / tổng lớn nhất, nhưng phiên bản kia lớn hơn một cách ngẫu nhiên. (Nếu đó là trường hợp, bạn sẽ muốn phiên bản cũ.) Bởi vì đây là điều bạn muốn cuối cùng, một bài kiểm tra dành riêng cho khía cạnh đó của bản phân phối là phù hợp nhất với bạn.

$t$

$p$

A            = c(rep(0, 9990), 40,20,20,20,15,10,10,5,5,5)
B            = c(rep(0, 9985), 50,20,10,10,10,10,10,10,5,5,5,5,5,5,5)
realized.dif = mean(B)-mean(A);  realized.dif  # [1] 0.0015

set.seed(6497)
donations = stack(list(A=A, B=B))
values    = donations$values
ind       = donations$ind
difs      = vector(length=1000)
for(i in 1:1000){
  ind     = sample(ind)
  difs[i] = mean(values[ind=="B"])-mean(values[ind=="A"])
}
difs = sort(difs)
mean(difs>=realized.dif)    # [1] 0.459  # a 1-tailed test, if Ha: B>A a-priori
mean(difs>=realized.dif)*2  # [1] 0.918  # a 2-tailed test

R$z$Rprop.test()

prop.test(rbind(c(10, 9990),
                c(15, 9985) ))
#  2-sample test for equality of proportions with continuity correction
# 
# data:  rbind(c(10, 9990), c(15, 9985))
# X-squared = 0.6408, df = 1, p-value = 0.4234
# alternative hypothesis: two.sided
# 95 percent confidence interval:
#   -0.0015793448  0.0005793448
# sample estimates:
# prop 1 prop 2 
# 0.0010 0.0015 

Câu trả lời của @ gung là đúng. Nhưng tôi sẽ nói thêm rằng vì dữ liệu của bạn có thể bị sai lệch, với một cái đuôi bên phải rất lớn, giá trị trung bình có thể không mạnh mẽ và do đó nó có thể không phải là chỉ số "đúng" để thể hiện tính trung tâm của phân phối của bạn. Do đó, tôi cũng sẽ thử với các giải pháp mạnh mẽ hơn như trung bình hoặc phương tiện cắt ngắn.