Phân phối Poisson khác với phân phối bình thường như thế nào?

Tôi đã tạo ra một vectơ có phân phối Poisson, như sau:

x = rpois(1000,10)

Nếu tôi tạo biểu đồ bằng cách sử dụng hist(x), phân phối trông giống như phân phối bình thường hình chuông quen thuộc. Tuy nhiên, một thử nghiệm Kolmogorov-Smirnoff sử dụng ks.test(x, 'pnorm',10,3)cho biết phân phối khác biệt đáng kể so với phân phối bình thường, do pgiá trị rất nhỏ .

Vì vậy, câu hỏi của tôi là: phân phối Poisson khác với phân phối bình thường như thế nào, khi biểu đồ trông rất giống với phân phối bình thường?

— luciano
nguồn

Ngoài ra (dưới dạng bổ trợ cho câu trả lời của David): hãy đọc phần này ( stats.stackexchange.com/a/2498/603 ) và đặt kích thước mẫu của bạn thành 100 và xem sự khác biệt mà nó tạo ra.

— dùng603

Câu trả lời:

Một phân phối Poisson là rời rạc trong khi phân phối bình thường là liên tục và một biến ngẫu nhiên Poisson luôn luôn> = 0. Do đó, một thử nghiệm Kereimorov-Smirnov thường sẽ có thể cho biết sự khác biệt.
Khi giá trị trung bình của phân phối Poisson lớn, nó trở nên tương tự như phân phối bình thường. Tuy nhiên, rpois(1000, 10)thậm chí trông không giống với phân phối bình thường (nó dừng ở mức 0 và đuôi phải quá dài).
Tại sao bạn so sánh nó với ks.test(..., 'pnorm', 10, 3)hơn là ks.test(..., 'pnorm', 10, sqrt(10))? Sự khác biệt giữa 3 và là nhỏ nhưng chính nó sẽ tạo ra sự khác biệt khi so sánh các bản phân phối. Ngay cả khi phân phối thực sự bình thường, bạn vẫn sẽ có phân phối giá trị p bảo thủ: $\sqrt{10}$
```
set.seed(1)

hist(replicate(10000, ks.test(rnorm(1000, 10, sqrt(10)), 'pnorm', 10, 3)$p.value))
```

enter image description here

— David Robinson
nguồn

Thông thường mọi người sẽ thấy một cái gì đó đối xứng mơ hồ và cho rằng nó trông "bình thường". Tôi nghi ngờ rằng những gì @Ross đã thấy.

— Fraijo

Lưu ý rằng xét nghiệm KS thường giả định phân phối liên tục, do đó việc dựa vào giá trị p được báo cáo trong trường hợp này có thể (cũng) có thể bị nghi ngờ.

— Đức hồng y

Đúng: chạy hist(replicate(1000, ks.test(rpois(1000, 10), rpois(1000, 10))$p.value))chứng tỏ rằng một thử nghiệm so sánh hai phân phối Poisson giống hệt nhau sẽ quá bảo thủ.

— David Robinson

@Fraijo: thực sự. Chúng tôi có một câu hỏi chung hơn về chủ đề này: Nếu biểu đồ của tôi hiển thị đường cong hình chuông, tôi có thể nói dữ liệu của mình được phân phối bình thường không?

— Cá bạc

Đây là cách dễ hiểu hơn nhiều:

Bạn có thể xem phân phối Binomial là "mẹ" của hầu hết các phân phối. Phân phối bình thường chỉ là xấp xỉ phân phối Binomial khi n trở nên đủ lớn. Trên thực tế, về cơ bản, Abraham de Moivre đã phát hiện ra phân phối bình thường trong khi cố gắng xấp xỉ phân phối Binomial vì nó nhanh chóng vượt ra khỏi tính toán phân phối Binomial khi n phát triển đặc biệt là khi bạn không có máy tính ( tham khảo ).

Phân phối Poisson cũng chỉ là một xấp xỉ khác của phân phối Binomial nhưng nó giữ tốt hơn nhiều so với phân phối bình thường khi n lớn và p nhỏ, hoặc chính xác hơn khi trung bình xấp xỉ bằng phương sai (hãy nhớ rằng đối với phân phối Binomial, Average = np và var = np (1-p)) ( tham khảo ). Tại sao tình huống đặc biệt này rất quan trọng? Rõ ràng nó xuất hiện rất nhiều trong thế giới thực và đó là lý do tại sao chúng ta có xấp xỉ "đặc biệt" này. Dưới đây ví dụ minh họa các kịch bản trong đó phép tính xấp xỉ Poisson thực sự tuyệt vời.

Thí dụ

Chúng tôi có một trung tâm dữ liệu gồm 100.000 máy tính. Xác suất của bất kỳ máy tính nào bị lỗi ngày hôm nay là 0,001. Vì vậy, trung bình np = 100 máy tính bị lỗi trong trung tâm dữ liệu. Xác suất mà chỉ có 50 máy tính sẽ thất bại ngày hôm nay là gì?

Binomial: 1.208E-8
Poisson: 1.223E-8
Normal: 1.469E-7

Trong thực tế, chất lượng gần đúng cho phân phối bình thường đi xuống cống khi chúng ta đi theo đuôi của phân phối nhưng Poisson tiếp tục giữ rất độc đáo. Trong ví dụ trên, chúng ta hãy xem xét xác suất mà chỉ có 5 máy tính sẽ thất bại hôm nay là gì?

Binomial: 2.96E-36 
Poisson: 3.1E-36
Normal: 9.6E-22

Hy vọng, điều này cung cấp cho bạn sự hiểu biết trực quan tốt hơn về 3 bản phân phối này.

— Shital Shah
nguồn

Thật là một câu trả lời tuyệt vời và tuyệt vời! Cảm ơn rất nhiều. :)

— Bora M. Alper

Tôi nghĩ điều đáng nói là một pmf Poisson ( ) là pmf giới hạn của Binomial ( , ) với $\lambda$ $n$ $p_n$ $p_n = \lambda / n$ .

Một sự phát triển khá dài có thể được tìm thấy trên blog này .

Nhưng, chúng ta có thể chứng minh điều này về mặt kinh tế ở đây là tốt. Nếu thì đối với cố định $X_n \sim \mathrm{Binomial}(n,\lambda/n)$ $k$

\begin{aligned} P (X_{n} = k) & = \frac{n!}{k! (n - k)!} {(\frac{λ}{n})}^{k} {(1 - \frac{λ}{n})}^{n - k} \\ = \underset{\to 1}{\underset{⏟}{\frac{n! n^{- k}}{(n - k)!}}} \frac{λ^{k}}{k!} \underset{\to e^{- λ}}{\underset{⏟}{(1 - λ / n)^{n}}} \cdot \underset{\to 1}{\underset{⏟}{(1 - λ / n)^{- k}}} . \end{aligned}

$\begin{align} \mathbb P(X_n = k) &= \frac{n!}{k!(n-k)!} \left(\frac{\lambda}{n}\right)^k \left(1-\frac{\lambda}{n}\right)^{n-k} \\ &= \underbrace{\frac{n! n^{-k}}{(n-k)!}}_{\to 1} \frac{\lambda^k}{k!}\underbrace{(1-\lambda/n)^n}_{\to e^{-\lambda}} \cdot \underbrace{(1-\lambda/n)^{-k}}_{\to 1} \>. \end{align}$

$n \to \infty$ $k$

P (X_{n} = k) \to \frac{e^{- λ} λ^{k}}{k!},

$\mathbb P(X_n = k) \to \frac{e^{-\lambda} \lambda^k}{k!} \,,$

n \to \infty

$n \to \infty$

(1 - λ / n)^{n} \to e^{- λ}

$(1-\lambda/n)^n \to e^{-\lambda}$ .

$n$ $p$ $\approxeq^d \mathcal N(np, np(1-p))$ $n \rightarrow \infty$ $p$ $p_n = \lambda / n \rightarrow 0$ $\lambda$ $n$

— muratoa
nguồn

(+1) Chào mừng đến với trang web. Tôi đã thực hiện một vài chỉnh sửa; vui lòng kiểm tra xem tôi đã không giới thiệu bất kỳ lỗi nào trong quy trình. Tôi không chắc chắn về những gì để làm cho cụm từ cuối cùng trong câu cuối cùng. Một số làm rõ bổ sung có thể có ích.

— Đức hồng y

Tôi thích hướng đi này, mặc dù có thể có nhiều cách để liên hệ chặt chẽ hơn với câu hỏi trong tầm tay bằng cách làm cho các kết nối giữa ba bản phân phối rõ ràng hơn. Ví dụ (a) Một biến ngẫu nhiên nhị phân (chuỗi) hoạt động như một Poisson miễn là

n p_{n} \approx λ

$n p_n \approx \lambda$ , (b) Một nhị thức (chuỗi) hoạt động như bình thường miễn là

p

$p$ xấp xỉ một hằng số cố định và (c) Poisson (chuỗi) hoạt động như bình thường đối với lớn

λ

$\lambda$ về cơ bản là do sự phân chia vô hạn của nó.

— Đức hồng y

Bình luận tốt đẹp @cardinal. Về câu cuối, cho cố định, lớn

n

$n$ cái lớn hơn

λ

$\lambda$ cái lớn hơn

p_{n}

$p_n$ (ví dụ gần hơn với

1 / 2

$1/2$ ). Do đó, xấp xỉ Bình thường với Binomial càng tốt và đến lượt Poisson.

— muratoa

Cảm ơn. Tôi thấy những gì bạn đang cố gắng nói bây giờ. Tôi thường đồng ý, với lời cảnh báo rằng một số chăm sóc cần phải được thực hiện với mối quan hệ giữa các tham số, được coi là cố định và khác nhau với những người khác. :)

— Đức hồng y

Xin chào Murat và chào mừng đến với trang web! thật tốt khi thấy bạn ở đây và tôi hy vọng bạn sẽ đi xung quanh. +1 để giải thích lý do tại sao biểu đồ của poisson trông rất giống với biểu đồ bình thường khi

λ

$\lambda$ là lớn

— Macro