Tại sao đồng phục phân phối này?

Chúng tôi đang điều tra thử nghiệm thống kê Bayes, và bắt gặp một hiện tượng kỳ lạ (với tôi ít nhất).

Hãy xem xét trường hợp sau: chúng tôi quan tâm đến việc đo dân số, A hoặc B, có tỷ lệ chuyển đổi cao hơn. Để kiểm tra độ tỉnh táo, chúng tôi đặt , nghĩa là xác suất chuyển đổi là bằng nhau ở cả hai nhóm. Chúng tôi tạo dữ liệu nhân tạo bằng mô hình nhị thức, ví dụ: $p_A = p_B$

n_{A} \sim Binomial (N, p_{A})

$n_A \sim \text{Binomial}(N, p_A)$

Sau đó, chúng tôi cố gắng ước tính bằng mô hình nhị phân beta Bayes để chúng tôi có được hậu thế cho mỗi tỷ lệ chuyển đổi, ví dụ: $p_A, p_B$

P_{A} \sim Beta (1 + n_{A}, N - n_{A} + 1)

$P_A \sim \text{Beta}(1 + n_A, N - n_A +1 )$

Thống kê kiểm tra của chúng tôi được tính bằng cách tính thông qua monte carlo. $S = P(P_A > P_B\; |\; N, n_A, n_B)$

Điều làm tôi ngạc nhiên là nếu , thì . Suy nghĩ của tôi là nó sẽ tập trung vào khoảng 0,5, và thậm chí hội tụ đến 0,5 khi cỡ mẫu, , tăng lên. $p_A = p_B$ $S \sim \text{Uniform(0,1)}$ $N$

Câu hỏi của tôi là, tại sao $S \sim \text{Uniform(0,1)}$ khi $p_A = p_B$ ?

Đây là một số mã Python để chứng minh:

%pylab
from scipy.stats import beta
import numpy as np
import pylab as P

a = b = 0.5
N = 10000
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples)
P.show()

— Cam.Davidson.Pilon
nguồn

Lưu ý rằng không thể đồng nhất chính xác, bởi vì nó là một biến rời rạc. Do đó, bạn đang hỏi về hành vi tiệm cận. Ngoài ra, đối với nhỏ (dưới , xấp xỉ, với ), phân phối thậm chí không gần với thống nhất.

S

$S$

N

$N$

100 / min (p, 1 - p)

$100/\min(p,1-p)$

p = p_{A} = p_{B}

$p=p_A=p_B$

— whuber

@whuber S không rời rạc, đó là một xác suất có thể rơi vào khoảng từ 0 đến 1. Ngoài ra, ngay cả đối với N thấp, tôi đang quan sát hành vi thống nhất.

— Cam.Davidson.Pilon

Tôi phải hiểu nhầm thiết lập của bạn, sau đó. Theo như tôi có thể nói, với bất kỳ giá trị đã cho nào của giá trị của là một số. Do đó, chấp nhận rằng và được cố định trong thời điểm này (vì chúng nằm trong mã của bạn), là một hàm của . Nhưng sau này, là sự hiện thực hóa hai phân phối Binomial, chỉ có thể đạt được một tập hợp các giá trị riêng biệt. Khi tôi sao chép mã của bạn vào , tôi nhận được biểu đồ không đồng nhất cho nhỏ .

N, n_{A}, n_{B},

$N,n_A,n_B,$

S

$S$

N, p_{A},

$N, p_A,$

p_{B}

$p_B$

S

$S$

(n_{A}, n_{B})

$(n_A,n_B)$ R

N

$N$

— whuber

Mặc dù thực sự của bạn có các giá trị từ đến , nhưng đừng nhầm lẫn rằng với không rời rạc: nó có thể có tối đa giá trị riêng biệt (và thực tế có ít hơn thế). Điều này có thể không hoàn toàn rõ ràng với bạn vì mô phỏng của bạn tạo ra các ước tính của thay vì các giá trị chính xác của nó và các ước tính về cơ bản có phân phối liên tục.

S

$S$

0

$0$

1

$1$

N^{2}

$N^2$

S

$S$

— whuber

@whuber vâng, bạn đúng, quan sát tuyệt vời. Tôi vẫn còn bế tắc về lý do tại sao nó trông đồng nhất sau đó.

— Cam.Davidson.Pilon

Câu trả lời:

TL; DR: Hỗn hợp phân phối bình thường có thể trông đồng nhất khi kích thước thùng lớn.

Câu trả lời này mượn từ mã mẫu của @ whuber (mà tôi nghĩ đầu tiên là lỗi, nhưng nhìn lại có lẽ là một gợi ý).

Các tỷ lệ cơ bản trong dân số là bằng nhau : a = b = 0.5.
Mỗi nhóm, A và B có 10000 thành viên : N = 10000.
Chúng tôi sẽ tiến hành 5000 lần lặp lại mô phỏng : for i in range(5000):.

Trên thực tế, những gì chúng tôi đang làm là một của một . Trong mỗi lần lặp 5000 chúng tôi sẽ làm $\rm simulation_\rm{prime}$ $\rm simulation_\rm{underlying}$ $\rm simulation_\rm{prime}$ . $\rm simulation_\rm{underlying}$

Trong mỗi lần lặp của chúng ta sẽ mô phỏng một số ngẫu nhiên của A và B là 'thành công' (AKA chuyển đổi) đưa ra tỷ lệ cơ bản tương đương được xác định trước đó: . Về cơ bản, điều này sẽ mang lại A = 5000 và B = 5000, nhưng A và B thay đổi từ chạy sim sang chạy sim và được phân phối trên 5000 mô phỏng chạy độc lập và (khoảng) thông thường (chúng tôi sẽ quay lại với điều đó). $\rm simulation_\rm{prime}$ A = np.random.binomial(N, a); B = np.random.binomial(N, b)

Bây giờ chúng ta hãy bước qua cho một lần lặp duy nhất của trong đó A và B có được thực hiện trên một số lượng thành công như nhau (như sẽ là trung bình của trường hợp). Trong mỗi lần lặp của $\rm simulation_\rm {underlying}$ $\rm simulation_\rm{prime}$ chúng ta sẽ, cho A và B, tạo ra các biến thể ngẫu nhiên của phân phối beta cho mỗi nhóm. Sau đó, chúng tôi sẽ so sánh chúng và tìm hiểu xem , mang lại TRUE hay FALSE (1 hoặc 0). Vào cuối một hoạt động của $\rm simulation_\rm{underlying}$ ${\rm Beta}_A > {\rm Beta}_B$ $\rm simulation_\rm {underlying}$ , chúng tôi đã hoàn thành 15000 lần lặp và có 15000 giá trị TRUE / FALSE. Mức trung bình trong số này sẽ mang lại một giá trị duy nhất từ (xấp xỉ bình thường) lấy mẫu phân bố tỷ lệ . ${\rm Beta}_A > {\rm Beta}_B$

Ngoại trừ bây giờ sẽ chọn 5000 A và B giá trị. A và B sẽ hiếm khi bằng nhau, nhưng sự khác biệt điển hình về số lượng thành công của A và B bị lấn át bởi tổng kích thước mẫu của A và B. Điển hình As và Bs sẽ mang lại nhiều lực kéo hơn từ phân phối mẫu của , nhưng những người ở các cạnh của phân phối A / B cũng sẽ bị kéo. $\rm simulation_\rm{prime}$ ${\rm Beta}_A > {\rm Beta}_B$

Vì vậy, về bản chất, chúng tôi kéo theo nhiều lần chạy sim là sự kết hợp các phân phối lấy mẫu của để kết hợp A và B (với nhiều lần lấy hơn từ các phân phối lấy mẫu được tạo từ các giá trị chung của A và B hơn các giá trị không phổ biến của A và B). Điều này dẫn đến hỗn hợp phân phối bình thường-ish. Khi bạn kết hợp chúng trên một kích thước thùng nhỏ (như mặc định cho chức năng biểu đồ bạn đã sử dụng và được chỉ định trực tiếp trong mã gốc của bạn), bạn sẽ kết thúc với một thứ trông giống như một bản phân phối thống nhất. ${\rm Beta}_A > {\rm Beta}_B$

Xem xét:

a = b = 0.5
N = 10
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples,1000)
P.show()

— russellpierce
nguồn

Vì vậy, có một sự khác biệt giữa mã của tôi và mã của bạn. Tôi lấy mẫu A và B trong mỗi vòng lặp, bạn lấy mẫu một lần và tính S 5000 lần.

— Cam.Davidson.Pilon

Sự khác biệt nằm trong các cuộc gọi của bạn rbinom, trả về một vectơ. Cuộc gọi tiếp theo vào rbetabên trong replicateđược vector hóa, do đó, vòng lặp bên trong (bên trong) đang sử dụng

và

khác nhau cho mỗi trong số 15000 biến ngẫu nhiên được tạo (bao quanh 5000 cuối cùng kể từ khi bạn ). Xem để biết thêm. Mã này khác với mã của @ Cam có một

và

cố định duy nhất được sử dụng trong tất cả 15000 cuộc gọi biến đổi ngẫu nhiên cho mỗi trong số 5000 vòng lặp lấy mẫu ( ).

A

$A$

B

$B$ NSIM = 10000?rbeta

A

$A$

B

$B$ replicate

— Đức hồng y

đây là đầu ra cho những người tò mò: imgur.com/ryvWbJO

— Cam.Davidson.Pilon

Điều duy nhất tôi nhận thấy có khả năng thích hợp ở mức độ khái niệm là a) phân phối kết quả dự kiến là đối xứng, b) kích thước bin 1 luôn đồng nhất, c) kích thước bin 2 cho phân phối đối xứng cũng sẽ luôn xuất hiện thống nhất, d) số lượng phân phối lấy mẫu có thể có thể được rút ra từ các mức tăng với N, e) giá trị của S không thể xếp chồng lên 0 hoặc 1 vì beta không được xác định khi có 0 thành công trong cả hai nhóm và f) các mẫu được giới hạn trong khoảng từ 0 đến 1.

— russellpierce

Khi quan sát một mình, chúng ta có thể thấy rằng khoảng cách giữa các tâm của phân phối lấy mẫu bị giảm khi các tâm của phân phối lấy mẫu di chuyển ra xa .5 (có thể liên quan đến điểm f ở trên). Hiệu ứng này có xu hướng chống lại xu hướng tần số quan sát cao đối với những thành công gần như phổ biến hơn trong trường hợp nhóm A và nhóm B. Tuy nhiên, việc đưa ra một giải pháp toán học là tại sao đó là lý do hoặc tại sao nó mang lại sự phân phối bình thường cho các kích thước thùng nhất định không ở bất kỳ đâu gần lãnh thổ của tôi.

— russellpierce

Để có được một số trực giác cho những gì đang diễn ra, chúng ta hãy thoải mái làm cho rất lớn và khi đó bỏ qua hành vi và khai thác các định lý tiệm cận cho thấy cả phân phối Beta và Binomial đều trở nên Bình thường. (Với một số rắc rối, tất cả điều này có thể được thực hiện nghiêm ngặt.) Khi chúng tôi làm điều này, kết quả xuất hiện từ một mối quan hệ cụ thể giữa các tham số khác nhau. $N$ $O(1/N)$

Vì chúng tôi dự định sử dụng các xấp xỉ bình thường, chúng tôi sẽ chú ý đến các kỳ vọng và phương sai của các biến:

Như nhị thức variates, và có những kỳ vọng của và phương sai của . Do đó và có những kỳ vọng của và phương sai . $(N, p)$ $n_A$ $n_B$ $pN$ $p(1-p)N$ $\alpha=n_A/N$ $\beta=n_B/N$ $p$ $p(1-p)/N$
Khi Beta , có kỳ vọng là và phương sai của $(n_A+1, N+1-n_A)$ $P_A$ $(n_A+1)/(N+2)$ . Xấp xỉ, chúng tôi thấy rằng có kỳ vọng về $(n_A+1)(N+1-n_A) / [(N+2)^2(N+3)]$ $P_A$

$E (P_{A}) = α + O (1 / N)$ $\mathbb{E}(P_A) = \alpha+O(1/N)$
và phương sai của

$Var (P_{A}) = α (1 - α) / N + O (1 / N^{2}),$ $\text{Var}(P_A) = \alpha(1-\alpha)/N + O(1/N^2),$
với kết quả tương tự cho . $P_B$

Vậy, chúng ta xấp xỉ phân phối của và với bình thường và Bình thường phân phối (trong đó tham số thứ hai chỉ rõ những sai ) . Do đó, sự phân phối xấp xỉ Bình thường; dí dỏm $P_A$ $P_B$ $(\alpha, \alpha(1-\alpha)/N)$ $(\beta,\beta(1-\beta)/N)$ $P_A-P_B$

P_{A} - P_{B} \approx Normal (α - β, \frac{α (1 - α) + β (1 - β)}{N}) .

$P_A-P_B \approx \text{Normal}\left(\alpha-\beta, \frac{\alpha(1-\alpha) + \beta(1-\beta)}{N}\right).$

$N$ $\alpha(1-\alpha) + \beta(1-\beta)$ $p(1-p)+p(1-p)=2p(1-p)$ $O(1/N)$ $\Phi$

Pr (P_{A} > P_{B}) = Pr (P_{A} - P_{B} > 0) \approx Φ (\frac{α - β}{\sqrt{2 p (1 - p) / N}}) .

$\Pr(P_A\gt P_B) =\Pr(P_A-P_B\gt 0) \approx \Phi\left(\frac{\alpha-\beta}{\sqrt{2p(1-p)/N}}\right).$

But since $\alpha-\beta$ has zero mean and variance $2p(1-p)/N,$ $Z=\frac{\alpha-\beta}{\sqrt{2p(1-p)/N}}$ is a standard Normal variate (at least approximately). $\Phi$ is its probability integral transform; $\Phi(Z)$ is uniform.

— whuber
nguồn

I'mn with you up until

P_{A} - P_{B} \approx N o r m a l

$P_A - P_B \approx Normal$ ... then you go off another direction that I didn't quite follow. Is

Φ

$\Phi$ defined twice, once as the standard normal CDF and then as the probability integral transform? I'm hoping you can expand your description around these steps and relate them to the initial code/problem. Maybe loop back around and restate which specific parameters produce the uniform result.

— russellpierce

@rpierce (1) The difference

P_{A} - P_{B}

$P_A-P_B$ is approximately normal because

P_{A}

$P_A$ and

P_{B}

$P_B$ are independent and each is approximately normal. The mean is the difference of the means and the variance is the sum of the variances. (2) The probability integral transform is the CDF: it is the case for any random variable

X

$X$ with continuous distribution

F

$F$ , that

F (X)

$F(X)$ is uniform.

— whuber

Oh I got 1, it was the stuff after it where I got lost. This will be mindbogglingly dumb, but why is

P r (P_{A} > P_{B})

$Pr(P_A>P_B)$ the same as the CDF?

— russellpierce

@rpierce That follows rather directly from the definition, but there's a slight twist in which the symmetry of the Normal distribution is invoked. We're dealing with a Normal variate

X = P_{A} - P_{B}

$X = P_A-P_B$ assumed to have an expectation of

μ = α - β

$\mu=\alpha-\beta$ and variance

σ^{2} = 2 p (1 - p) / N

$\sigma^2 = 2p(1-p)/N$ . Standardizing

X

$X$ , it is natural to rewrite the probability as

Pr (X > 0) = Pr ((X - μ) / σ > (0 - μ) / σ) = 1 - Φ (- μ / σ) = Φ (μ / σ) .

$\Pr(X\gt 0) = \Pr((X-\mu)/\sigma \gt (0-\mu)/\sigma) = 1-\Phi(-\mu/\sigma) = \Phi(\mu/\sigma).$

— whuber

@whuber this is pretty amazing. You are a wonderful teacher. I appreciate both yours and rpierce's answer, I'll still give him credit as it did solve our problem, and you have shown why the behaviour occurs. Ty!

— Cam.Davidson.Pilon