Tỷ lệ kiểm tra A / B của các khoản tiền

 Bối cảnh

Hãy xem xét kịch bản sau đây cho một công ty bán hàng trực tuyến. Người dùng có thể mua một số mặt hàng (ví dụ: giỏ vật phẩm), một số mặt hàng có tầm quan trọng đặc biệt và được theo dõi cụ thể (hãy gọi chúng là các mặt hàng sao).

Chúng tôi muốn kiểm tra sự thay đổi trong thuật toán (ví dụ: khuyến nghị, đánh giá rủi ro, thêm nhắm mục tiêu, bất cứ điều gì ...) có thể ảnh hưởng đến cả số lượng mặt hàng sao được bán và tổng doanh số .

• Đây là một thiết lập thử nghiệm A / B tiêu chuẩn - đơn vị ngẫu nhiên ở cấp độ người dùng .
• Mục đích của thử nghiệm A / B là so sánh tác động của thay đổi thuật toán: nhóm điều khiển có thuật toán gốc và biến thể có thuật toán mới
• Một số liệu quan tâm chính được định nghĩa là tỷ lệ doanh số của các mặt hàng sao trên tổng doanh số . Đây là tổng của tất cả các giao dịch của tất cả người dùng trong phạm vi của từng nhóm A hoặc B.
• Điều này có nghĩa là đơn vị phân tích ở cấp độ giao dịch, khác với đơn vị ngẫu nhiên
• Số liệu được tính trong toàn bộ thời gian của bài kiểm tra (ví dụ 2 tuần)

Chi tiết về số liệu được sử dụng

Nhóm cho A và một tập hợp các người dùng , mỗi người dùng được tham gia vào một số giao dịch. được đặt của tất cả các giao dịch của tất cả người dùng trong nhóm A trong thời gian thử nghiệm là .$U_A = \{u_1,u_2,...,u_{N_A} \}$$t_{u_n}$$T_A$$T_A = \{ t_{u_{11}}, t_{u_{12}}, ... t_{u_{nm} } \}$

Số liệu quan tâm cho nhóm A được xác định trên tất cả các giao dịch trong phạm vi của nhóm A. Các khoản tiền nằm ở cấp độ giao dịch, không phải ở cấp độ người dùng.

Tất nhiên, chúng tôi có thể sửa đổi định nghĩa để tính mức trung bình của người dùng và điều đó sẽ đơn giản hóa mọi thứ, nhưng đó không phải là số liệu đang được sử dụng.

Câu hỏi

Kiểm tra thống kê nào có thể được sử dụng cho một số liệu như vậy? Một xem xét bổ sung là mặc dù chúng ta có thể cho rằng người dùng là iid một cách an toàn, rất có thể sai khi cho rằng các giỏ mua hàng riêng lẻ là iid cho cùng một người dùng.

Dưới đây là một vài ý tưởng tôi đã gặp, có bất kỳ học viên thử nghiệm A / B nào gặp phải các số liệu tương tự trong quá khứ không?

• z-test của tỷ lệ
• Bootstrapping và Jacknife
• Phương pháp Delta
• Thay đổi số liệu (phương sách cuối cùng)

https://en.wikipedia.org/wiki/Ratio_estimator

Chỉnh sửa - Một số làm rõ

Lý do đằng sau câu hỏi này là tôi đã thường thấy z-test của tỷ lệ được sử dụng trong tình huống này. Các công cụ phổ biến được sử dụng để kiểm tra A / B thường được mặc định trong kiểm tra tỷ lệ và người dùng doanh nghiệp hiếm khi kiểm tra các giả định cơ bản cần có để kiểm tra có hiệu lực. Câu trả lời của @ dnqxt dưới đây là một ví dụ hay: "Chỉ cần sử dụng bài kiểm tra tỷ lệ z!" - nhưng tôi muốn thấy một bằng chứng thống kê nghiêm ngặt về lý do tại sao (hoặc tại sao không) thử nghiệm này có thể được sử dụng trong trường hợp như vậy.

Cá nhân tôi không nghĩ rằng việc sử dụng phép thử tỷ lệ z sẽ có hiệu quả ở đây vì doanh số từ một sự kiện mua hàng không phải là thử nghiệm của Bernoulli. Tôi lập luận rằng chúng ta không thể nói rằng mỗi đô la được bán theo mẫu số có thể được xem là một thử nghiệm Bernoulli dẫn đến đồng đô la vật phẩm 0 hoặc 1 sao được bán trong tử số. Hơn nữa, vì đơn vị ngẫu nhiên ở cấp độ người dùng, các sự kiện mua hàng của cùng một người dùng không độc lập (nhưng tôi sẽ nói đó là vấn đề thứ yếu). Tôi có thể sai ở đây, vì vậy xin vui lòng chứng minh điều này nếu không!

Chúng tôi cũng có thể thay đổi số liệu để biến nó thành Bernoulli / Binomial hội tụ thành Bình thường bằng cách sử dụng số đếm, nhưng đó sẽ là giải pháp cuối cùng

• z-test của tỷ lệ

  Điều này áp dụng cho một trường hợp khác khi bạn có kết quả nhị phân. Phép thử z về tỷ lệ so sánh tỷ lệ của các kết quả nhị phân đó.

  (Bên dưới một số đối số được đưa ra là bạn sẽ có thể thực hiện kiểm tra t, với số lượng lớn gần bằng với kiểm tra z. Với tỷ lệ bạn có thể thực hiện kiểm tra z vì phân phối nhị thức có một tham số xác định phương sai và giá trị trung bình, không giống như phân phối bình thường)

• Bootstrapping

  Điều này sẽ có thể nhưng không thực sự cần thiết vì phương pháp Delta cung cấp lỗi của thống kê quan sát của bạn đơn giản hơn.

• Phương pháp Delta

  Bạn quan tâm đến tỷ lệ của hai biến có thể tương quan, 1. tổng doanh số và 2. doanh số trong các mặt hàng sao.

  Các biến này có khả năng được phân phối bình thường một cách bất thường vì chúng là tổng doanh số từ nhiều cá nhân (quy trình thử nghiệm có thể được coi là một quá trình như chọn một mẫu bán hàng từ người dùng cá nhân từ phân phối doanh số từ người dùng cá nhân). Vì vậy bạn có thể sử dụng phương pháp Delta.

  Việc sử dụng phương pháp Delta để ước tính tỷ lệ được mô tả ở đây . Kết quả của ứng dụng phương pháp Delta này thực sự trùng khớp với kết quả gần đúng của Hinkley , một biểu thức chính xác cho tỷ lệ của hai biến phân phối bình thường tương quan (Hinkley DV, 1969, Trên Tỷ lệ của hai biến ngẫu nhiên bình thường tương quan, Biometrica vol. 56 số 3).

  Dành cho $Z = \frac{X}{Y}$ với

  $$\begin{bmatrix}X\\Y\end{bmatrix} \sim N\left(\begin{bmatrix} \mu_x \\ \mu_y \end{bmatrix} , \begin{bmatrix} \sigma_x^2 & \rho \sigma_x \sigma_y \\ \rho \sigma_x \sigma_y & \sigma_y^2 \end{bmatrix} \right)$$ Kết quả chính xác là: $$f(z) = \frac{b(z)d(z)}{a(z)^3} \frac{1}{\sqrt{2\pi} \sigma_X\sigma_Y} \left[ \Phi \left( \frac{b(z)}{\sqrt{1-\rho^2}a(z)} \right) - \Phi \left( - \frac{b(z)}{\sqrt{1-\rho^2}a(z)} \right) \right] + \frac{\sqrt{1-\rho^2}}{\pi \sigma_X \sigma_Y a(z)^2} \exp \left( -\frac{c}{2(1-\rho^2)}\right)$$ với $$\begin{array}{} a(z) &=& \left( \frac{z^2}{\sigma_X^2} - \frac{2 \rho z}{\sigma_X \sigma_Y} + \frac{1}{\sigma_Y^2} \right) ^{\frac{1}{2}} \\ b(z) &=& \frac{\mu_X z}{ \sigma_X^2} - \frac{\rho (\mu_X+ \mu_Y z)}{ \sigma_X \sigma_Y} + \frac{\mu_Y}{\sigma_Y^2} \\ c &=& \frac{\mu_X^2}{\sigma_Y^2} - \frac{2 \rho \mu_X \mu_Y + }{\sigma_X \sigma_Y} + \frac{\mu_Y^2}{\sigma_Y^2}\\ d(z) &=& \text{exp} \left( \frac {b(z)^2 - c a(z) ^2}{2(1-\rho^2)a(z)^2}\right) \end{array}$$ Và một xấp xỉ dựa trên một hành vi giả định là: (cho $\theta_Y/\sigma_Y \to \infty$): $$F(z) \to \Phi\left( \frac{z - \mu_X/\mu_Y}{\sigma_X \sigma_Y a(z)/\mu_Y} \right)$$ Bạn kết thúc với kết quả phương thức Delta khi bạn chèn xấp xỉ $a(z) = a(\mu_X/\mu_Y)$ $$a(z) \sigma_X \sigma_Y /\mu_Y \approx a(\mu_X/\mu_Y) \sigma_X \sigma_Y /\mu_Y = \left( \frac{\mu_X^2\sigma_Y^2}{\mu_Y^4} - \frac{2 \mu_X \sigma_X \sigma_Y}{\mu_Y^3} + \frac{\sigma_X^2}{\mu_Y^2} \right) ^{\frac{1}{2}}$$

  Các giá trị cho $\mu_X,\mu_Y,\sigma_X,\sigma_Y,\rho$ có thể được ước tính từ các quan sát của bạn cho phép bạn ước tính phương sai và giá trị trung bình của phân phối cho một người dùng và liên quan đến phương sai này và trung bình cho phân phối mẫu của tổng số người dùng.

• Thay đổi số liệu

  Tôi tin rằng việc can thiệp vào việc phân phối doanh số (không phải là tỷ lệ) từ những người dùng đơn lẻ là điều đáng ngại. Cuối cùng, bạn có thể kết thúc với một tình huống mà ở đó là một sự khác biệt giữa các thành viên trong nhóm A và B, nhưng nó chỉ xảy ra là không đáng kể khi bạn xem các biến duy nhất của tỷ lệ (điều này là một chút tương tự như MANOVA là mạnh hơn hơn các xét nghiệm ANOVA đơn).

  Trong khi sự hiểu biết về sự khác biệt giữa các nhóm, mà không có một sự khác biệt đáng kể trong số liệu mà bạn đang interrested trong, có thể không giúp bạn nhiều trong việc đưa ra các quyết định, nó không giúp bạn trong việc tìm hiểu lý thuyết cơ bản và có khả năng thiết kế tốt hơn thay đổi / thí nghiệm lần sau.

Hình minh họa

Dưới đây là một minh họa đơn giản:

Hãy để sự phân bố giả định doanh thu từ những người dùng được phân phối như phân số $a,b,c,d$ cho biết có bao nhiêu người dùng trong một trường hợp cụ thể (trong thực tế phân phối này sẽ phức tạp hơn):

                           star item sales
                         0$              40$ 

other item sales  0$      a               b
                 10$      c               d

Sau đó, phân phối mẫu cho tổng số từ một nhóm có 10000 người dùng, với một thuật toán

Trong đó cho thấy 10000 lượt chạy thu hút người dùng mới và tính toán doanh số và tỷ lệ. Biểu đồ là để phân phối các tỷ lệ. Các dòng là tính toán sử dụng chức năng từ Hinkley.

• Bạn có thể thấy rằng phân phối của hai tổng doanh số xấp xỉ một mức bình thường đa biến. Các cách ly cho tỷ lệ cho thấy rằng bạn có thể ước tính tỷ lệ rất tốt bằng tổng tuyến tính (như trong phương pháp Delta được tuyến tính hóa được liên kết / đã đề cập trước đó) và một phép tính gần đúng bằng phân phối Gaussian sẽ hoạt động tốt (và sau đó bạn có thể sử dụng t- kiểm tra với số lượng lớn sẽ giống như kiểm tra z).
• Bạn cũng có thể thấy rằng một biểu đồ phân tán như thế này có thể cung cấp cho bạn nhiều thông tin và hiểu biết hơn so với việc chỉ sử dụng biểu đồ.

Mã R để tính toán biểu đồ:

set.seed(1)
#
# 
# function to sampling hypothetic n users 
# which will buy star items and/or regular items
#
#                                star item sales
#                             0$              40$ 
#  
#  regular item sales  0$      a               b
#                     10$      c               d
#
#
sample_users <- function(n,a,b,c,d) {
  # sampling 
  q <- sample(1:4, n, replace=TRUE, prob=c(a,b,c,d))
  # total dolar value of items
  dri = (sum(q==3)+sum(q==4))*10
  dsi = (sum(q==2)+sum(q==4))*40
  # output
  list(dri=dri,dsi=dsi,dti=dri+dsi, q=q)
}


# 
# function for drawing those blocks for the tilted histogram
#
block <- function(phi=0.045+0.001/2, r=100, col=1) {
  if (col == 1) {
    bgs <- rgb(0,0,1,1/4)
    cols <- rgb(0,0,1,1/4)
  } else {
    bgs <- rgb(1,0,0,1/4)
    cols <- rgb(1,0,0,1/4)
  }
  angle <- c(atan(phi+0.001/2),atan(phi+0.001/2),atan(phi-0.001/2),atan(phi-0.001/2))
  rr <- c(90000,90000+r,90000+r,90000)
  x <- cos(angle)*rr
  y <- sin(angle)*rr
  polygon(x,y,col=cols,bg=bgs)
}
block <- Vectorize(block)


#
# function to compute Hinkley's density formula
#
fw <- function(w,mu1,mu2,sig1,sig2,rho) {
  #several parameters
  aw <- sqrt(w^2/sig1^2 - 2*rho*w/(sig1*sig2) + 1/sig2^2)
  bw <- w*mu1/sig1^2 - rho*(mu1+mu2*w)/(sig1*sig2)+ mu2/sig2^2
  c <- mu1^2/sig1^2 - 2 * rho * mu1 * mu2 / (sig1*sig2) + mu2^2/sig2^2
  dw <- exp((bw^2 - c*aw^2)/(2*(1-rho^2)*aw^2))

  # output from Hinkley's density formula
  out <- (bw*dw / ( sqrt(2*pi) * sig1 * sig2 * aw^3)) * (pnorm(bw/aw/sqrt(1-rho^2),0,1) - pnorm(-bw/aw/sqrt(1-rho^2),0,1)) + 
    sqrt(1-rho^2)/(pi*sig1*sig2*aw^2) * exp(-c/(2*(1-rho^2)))

  out
}
fw <- Vectorize(fw)

#
# function to compute
# theoretic distribution for sample with parameters (a,b,c,d)
# lazy way to compute the mean and variance of the theoretic distribution
fwusers <- function(na,nb,nc,nd,n=10000) {
  users <- c(rep(1,na),rep(2,nb),rep(3,nc),rep(4,nd))
  dsi <- c(0,40,0,40)[users]
  dri <- c(0,0,10,10)[users]
  dti <- dsi+dri

  sig1 <- sqrt(var(dsi))*sqrt(n)
  sig2 <- sqrt(var(dti))*sqrt(n)
  cor <- cor(dti,dsi)
  mu1 <- mean(dsi)*n
  mu2 <- mean(dti)*n

  w <- seq(0,1,0.001)
  f <- fw(w,mu1,mu2,sig1,sig2,cor)
  list(w=w,f=f,sig1 = sig1, sig2=sig2, cor = cor, mu1= mu1, mu2 = mu2)
}


# sample many ntr time to display sample distribution of experiment outcome
ntr <- 10^4

# sample A
dsi1 <- rep(0,ntr)
dti1 <- rep(0,ntr)
for (i in 1:ntr) {
  users <- sample_users(10000,0.19,0.001,0.8,0.009)
  dsi1[i] <- users$dsi
  dti1[i] <- users$dti
}

# sample B
dsi2 <- rep(0,ntr)
dti2 <- rep(0,ntr)
for (i in 1:ntr) {
  users <- sample_users(10000,0.19-0.02,0.001,0.8+0.02,0.009)
  dsi2[i] <- users$dsi
  dti2[i] <- users$dti
}


# hiostograms for ratio
ratio1 <- dsi1/dti1
ratio2 <- dsi2/dti2
h1<-hist(ratio1, breaks = seq(0, round(max(ratio2+0.04),2), 0.001))
h2<-hist(ratio2, breaks = seq(0, round(max(ratio2+0.04),2), 0.001))

# plotting

plot(0, 0, 
     xlab = "sum of total sales", ylab = "sum of star item sales",
     xlim = c(82000,92000),
     ylim = c(2500,6000), 
     pch=21, col = rgb(0,0,1,1/10), bg = rgb(0,0,1,1/10))
title("sample distribution for sum of 10 000 users")

# isolines
brks <- seq(0, round(max(ratio2+0.02),2), 0.001)
for (ls in 1:length(brks)) {
  col=rgb(0,0,0,0.25+0.25*(ls%%5==1))
  lines(c(0,10000000),c(0,10000000)*brks[ls],lty=2,col=col)
}

# scatter points
points(dti1, dsi1,
       pch=21, col = rgb(0,0,1,1/10), bg = rgb(0,0,1,1/10))
points(dti2, dsi2,
       pch=21, col = rgb(1,0,0,1/10), bg = rgb(1,0,0,1/10))

# diagonal axis
phi <- atan(h1$breaks)
r <- 90000
lines(cos(phi)*r,sin(phi)*r,col=1)

# histograms
phi <- h1$mids
r <- h1$density*10
block(phi,r,col=1)

phi <- h2$mids
r <- h2$density*10
block(phi,r,col=2)

# labels for histogram axis
phi <- atan(h1$breaks)[1+10*c(1:7)]
r <- 90000
text(cos(phi)*r-130,sin(phi)*r,h1$breaks[1+10*c(1:7)],srt=-87.5,cex=0.9)
text(cos(atan(0.045))*r-400,sin(atan(0.045))*r,"ratio of sum of star items and sum of total items", srt=-87.5,cex=0.9)

# plotting functions for Hinkley densities using variance and means estimated from theoretic samples distribution
wf1 <- fwusers(190,1,800,9,10000)
wf2 <- fwusers(170,1,820,9,10000)
rf1 <- 90000+10*wf1$f
phi1 <- atan(wf1$w)
lines(cos(phi1)*rf1,sin(phi1)*rf1,col=4)
rf2 <- 90000+10*wf2$f
phi2 <- atan(wf2$w)
lines(cos(phi2)*rf2,sin(phi2)*rf2,col=2)

Những gì được mô tả là một trường hợp cổ điển của một thử nghiệm A / B nơi chúng tôi có sự phụ thuộc giữa người dùng và các mặt hàng (mua hàng tại đây); chúng ta cần tính đến điều này bởi vì nếu không, chúng ta sẽ có ước tính sai lệch về phương sai liên quan. Để chống lại điều đó, chúng tôi hoặc bootstrap bằng cách lấy các cụm tài khoản / người dùng hoặc chúng tôi sử dụng mô hình hỗn hợp đầy đủ. Bài viết của Bakshy & Eckles (2013) Sự không chắc chắn trong các thử nghiệm trực tuyến với dữ liệu phụ thuộc: Đánh giá các phương pháp Bootstrap là một tài liệu tham khảo vô giá về vấn đề tập trung vào các thử nghiệm A / B trực tuyến.

Nhìn vào những điều chi tiết hơn, trong một số trường hợp, giấy B & E là một trường hợp sử dụng mở rộng của giấy Owen (2007) Bootstrap pigeonhole . Tương tự, cách tiếp cận hiệu ứng hỗn hợp dựa trên bài báo uber-classic của Bayeen et al. (2009) Mô hình hóa hiệu ứng hỗn hợp với các hiệu ứng ngẫu nhiên chéo cho các đối tượng và vật phẩm .

Để nhận xét ngắn gọn trong các phương pháp bạn đề cập: khi bạn xác định chính xác $z$-test về tỷ lệ là quá đơn giản; nó sẽ giả sử IID và như bài báo B & E trình bày, giả định đó có thể gây hiểu lầm nghiêm trọng. Giới hạn tương tự mở rộng đến bootstrap, nếu chúng ta bỏ qua cấu trúc của dữ liệu. Về phương pháp Delta: độ lệch so với dữ liệu thông thường và / hoặc dữ liệu nhiễu thường làm cho phương pháp Delta không tối ưu so với các phương pháp bootstrap (ví dụ Hole 2007 Một so sánh các phương pháp ước tính khoảng tin cậy để sẵn sàng trả các biện pháp ) nhưng tôi đã thấy một số bài báo gần đây ( ví dụ: Đặng và cộng sự 2017 Phân tích đáng tin cậy về các thử nghiệm A / B trực tuyến: Cạm bẫy, thách thức và giải pháp và Đặng và cộng sự 2018 Áp dụng Phương pháp Delta trong Phân tích số liệu: Hướng dẫn thực tiễn với Ý tưởng tiểu thuyết) có vẻ đầy hứa hẹn; lưu ý rằng có giả định ngầm định rằng hiệu quả điều trị trung bình sẽ bình thường. Cuối cùng, việc thay đổi số liệu cũng là một ý tưởng tuyệt vời khi hợp lý. Chúng ta không nên ngại thúc đẩy những thay đổi mạch lạc hơn về mặt toán học chỉ vì một số liệu đã có sẵn.

Tóm lại: Nếu có một sơ đồ bao quát trên tất cả các bài báo tôi đã trích dẫn ở trên thì chúng tôi cần đảm bảo rằng đơn vị phân tích và đơn vị ngẫu nhiên của chúng tôi phù hợp với các câu hỏi nghiên cứu của chúng tôi.

Một cách tiếp cận rất đơn giản sẽ là sử dụng một bài kiểm tra hoán vị. Đây là thử nghiệm không phân phối, do đó bạn không phải lo lắng về việc phân phối.

Ý tưởng rất đơn giản. Bạn ngẫu nhiên xáo trộn các nhãn và đếm số lần chênh lệch đo được của số liệu quan tâm của bạn lớn hơn số chênh lệch bạn nhận được từ dữ liệu thực của mình. Tỷ lệ bạn nhận được là giá trị p của bạn.

Tại sao nó hoạt động? Chà, nếu giả thuyết null là True, thì việc xáo trộn ngẫu nhiên các nhãn (tức là nằm trong nhóm A hoặc B) sẽ thường mang lại giá trị tốt hơn so với giá trị bạn đo được. Tuy nhiên, nếu thuật toán đề xuất của bạn hoạt động, thì việc xáo trộn ngẫu nhiên sẽ hiếm khi mang lại kết quả tốt hơn so với thuật toán bạn nhận được.

Bạn cũng có thể sử dụng bootstrapping để có được khoảng tin cậy trên số liệu của cả nhóm A và B của bạn. Điều này, hai, được cho phép mà không có giả định về phân phối của bạn. Điều đó không tương đương với kiểm tra thống kê (ngay cả khi các khoảng CI không giao nhau), nhưng khía cạnh trực quan của các thanh "thanh + lỗi" có thể thú vị cho nhóm của bạn.

Tôi đã trả lời một câu hỏi rất giống nhau (nơi bạn thực sự tìm thấy tôi). Làm thế nào để kiểm tra sự khác biệt theo hai tỷ lệ khi kết quả không phải là nhị phân? . Tôi nghĩ rằng mã tôi đề nghị ở đó cũng áp dụng ở đây.

p1 <- sum(sales_data[target_control==1,"final_value"])/sum(sales_data[target_control==1,"initial_value"])
p2 <- sum(sales_data[target_control==0,"final_value"])/sum(sales_data[target_control==0,"initial_value"])
yourGap<-abs(p1-p2)
L<-sales_data["target_control"]==1
LfilterOnlyBuyers<-sales_data["sale_success"]==1

count=0
for ( i in 1:10000) {
  Lperm=sample(L)
  p1_perm <- sum(sales_data[Lperm,"final_value"])/sum(sales_data[Lperm & LfilterOnlyBuyers,"initial_value"])
  p2_perm <- sum(sales_data[!Lperm,"final_value"])/sum(sales_data[!Lperm & LfilterOnlyBuyers,"initial_value"])
  if (abs(p1_perm-p2_perm)>=yourGap) {
    count=count+1
  }
}
pvalue=count/10000

Khoảng tin cậy của Bootstrap sẽ là lựa chọn kỹ thuật của tôi cho kịch bản này. Tôi muốn để phác thảo một cách tiếp cận với một số ví dụ số lựa chọn mà bạn có thể sử dụng và lý do đằng sau phương pháp này:

1. Bạn có hai chậu / túi và mỗi túi chứa những người thuộc nhóm kiểm soát và nhóm biến thể: $U_{ctr}$ và $U_{var}$ với kích thước tương ứng $N_{ctr}$ và $N_{var}$. Tôi đã thay đổi ký hiệu của bạn một chút, tôi hy vọng điều đó ổn.
2. Bạn chọn một mẫu ngẫu nhiên $k$người từ cả hai nhóm với sự thay thế. Nếu cả hai quần thể của bạn đều "đủ lớn" (ví dụ ít nhất 2000 người dùng), bạn có thể chọn$k\leq N_{ctr}$ và $k \leq N_{var}$. Nguyên tắc nhỏ: Tôi thường chọn$k = \frac{min(N_{ctr},N_{var})}{5}$để có kết quả linh hoạt hơn nhưng trong hầu hết các thuật toán đóng gói (tổng hợp bootstrap), tùy chọn mặc định là lấy mẫu từ toàn bộ dân số. Nếu dân số của bạn nhỏ hơn thì bạn vẫn có thể làm điều đó nhưng hãy chắc chắn rằng bạn chọn một "đủ lớn"$k$(nói ít nhất 400 người dùng), một lần nữa bằng cách lấy mẫu với sự thay thế. Hãy nói rằng lưu ý họ$SU_{ctr}$ và $SU_{var}$ cả hai kích thước $k$
3. Bạn tính toán số liệu của mình bằng cách nhận tất cả các giao dịch mà mỗi người trong mỗi nhóm thực hiện bằng cách xem bản gốc $T$ tập dữ liệu giao dịch cho mỗi người dùng trong $SU_{ctr}$ và $SU_{var}$. Sau đó bạn sẽ kết thúc với$Metric_{ctr1}$ và $Metric_{ctr2}$. Lưu trữ những giá trị này. Thông báo quan trọng: bạn nên tính toán các giá trị này bằng cách tính tổng doanh số của các mục sao và chia cho tổng doanh số. Đừng lấy trung bình của giỏ hàng cá nhân của mỗi người. Điều này rất quan trọng vì đây là số liệu bạn đang xem.
4. Quay trở lại điểm 2 và lặp lại. Số lượng mẫu bootstrap tối ưu,$B$, mà bạn có thể chọn tùy thuộc vào nhiều yếu tố, nhưng một lần nữa, một quy tắc tốt sẽ là khoảng 1000 lần.
5. Bây giờ bạn có một $B$ số lượng $Metric_{ctr}$ và tương tự cho $Metric_{var}$. Bây giờ bạn có thể chọn để so sánh phương tiện của họ bằng cách sử dụng nhiều kỹ thuật thông thường. Cá nhân tôi sẽ chọn xây dựng các khoảng tin cậy và xem liệu chúng có trùng nhau hay thử nghiệm mẫu độc lập VÀ hoàn thành phân tích với một số biểu đồ / biểu đồ mật độ & ô vuông.

Ý kiến ​​cá nhân ngoài chủ đề: Luôn chọn để viz những thứ như phân phối bất cứ khi nào có thể, chúng ta có sức mạnh để làm điều đó ngày nay. Các xét nghiệm trên là hoàn toàn tốt nhưng có những trường hợp chúng có thể sai. Chẳng hạn nếu bạn chọn$B$ là cực kỳ cao, giả sử 1000000, thì ngay cả sự khác biệt nhỏ nhất giữa các phương tiện cũng có nhiều khả năng được gắn cờ là đáng kể.

Ở trên là mạnh mẽ bởi vì bất kể phân phối cơ bản là gì, định lý giới hạn trung tâm đảm bảo rằng nếu $B$là đủ lớn, cả hai phương tiện của$Metric_{var}$ và $Metric_{ctr}$trên các mẫu sẽ được phân phối bình thường và các xét nghiệm sẽ hợp lệ. Bạn sẽ chứng kiến ​​điều đó từ hình ảnh là tốt. Bất kỳ mối quan tâm nào về phân phối cơ bản của các khoản chi tiêu khác nhau của người dùng, v.v. sẽ được CLT giải quyết.

Có rất nhiều tài liệu tham khảo và đọc tốt của người dùng trước tôi. Hơn nữa, có rất nhiều nghiên cứu được thực hiện trên các số ví dụ tối ưu mà tôi đã đề cập ở trên, bạn có thể xem xét nó. Tôi chỉ muốn cung cấp cho bạn một phác thảo thực nghiệm và dễ hiểu hơn về cách tiếp cận mạnh mẽ. Bạn có thể bắt đầu với điều đó và xem liệu mọi thứ có thay đổi hay không bằng cách thay đổi các số ví dụ trên.