Xấp xỉ đơn giản của phân phối tích lũy Poisson ở đuôi dài?

Tôi muốn quyết định dung lượng của một bảng để nó có tỷ lệ cược dư nhỏ hơn để tràn cho , giả sử số lượng mục nhập theo luật Poisson với một giá trị đã cho kỳ vọng . $C$ $2^{-p}$ $p\in[40\dots 120]$ $E\in[10^3\dots 10^{12}]$

Lý tưởng nhất, tôi muốn số nguyên thấp nhất Csao 1-CDF[PoissonDistribution[E],C] < 2^-pcho cho pvà E; nhưng tôi hài lòng với một số Ccao hơn một chút. Mathematica là tốt cho tính toán thủ công, nhưng tôi muốn tính toán Ctừ pvà Etại thời điểm biên dịch, điều này giới hạn tôi trong số học số nguyên 64 bit.

Cập nhật: Trong Mathicala (phiên bản 7) e = 1000; p = 40; c = Quantile[PoissonDistribution[e], 1 - 2^-p]là 1231và có vẻ đúng (cảm ơn @Procrastinator); tuy nhiên, kết quả cho cả hai p = 50và p = 60là 1250sai ở khía cạnh không an toàn (và vấn đề: thử nghiệm của tôi lặp lại như lần trở lên và tôi muốn tỷ lệ thất bại chung thấp hơn ). Tôi muốn một số xấp xỉ thô nhưng an toàn chỉ sử dụng số học 64 bit , như có sẵn trong C (++) tại thời điểm biên dịch. $2^{25}$ $2^{-30}$

poisson-distribution

— fgrieu
nguồn

Thế còn C = Quantile[PoissonDistribution[E],1-2^p]?

Thuật ngữ hàng đầu của hàm khối lượng xác suất của Poisson chiếm ưu thế ở phần đuôi.

— Đức hồng y

@Procrastinator: có hoạt động trong Mathicala (ngoại trừ dấu hiệu p, và các vấn đề chính xác, và tên Evà Cđược bảo lưu). NHƯNG tôi cần một xấp xỉ đơn giản về điều đó, có thể là thô (nhưng về mặt an toàn) chỉ sử dụng số học số nguyên 64 bit!

— fgrieu

Cập nhật lại: Mathicala 8 trả về 1262 cho và 1290 cho . Re xấp xỉ bình thường (@Proc): điều này không thể được dự kiến sẽ hoạt động tốt trong các đuôi, điều này rất quan trọng cho việc tính toán.

p = 50

$p=50$

p = 60

$p=60$

— whuber

Có lẽ bạn nên hỏi về stackoverflow. Tôi không quen thuộc với những hạn chế bạn có. Tôi không biết điều gì ngăn bạn sử dụng phân bổ bộ nhớ động hoặc liệu bạn có thể sử dụng phân nhánh để quyết định kích thước của mảng hay chi phí để xác định một mảng có kích thước gấp đôi bạn cần (và sau đó không sử dụng tất cả của nó). Nếu một số chức năng như (chỉ là một ví dụ) đã đưa ra bạn có câu trả lời chính xác không, bạn có thể thực hiện một phép tính gần đúng theo các ràng buộc của mình hay không? Có vẻ như một vấn đề lập trình bây giờ.

μ + \sqrt{\log \log μ} \log μ \sqrt{μ} + p \frac{\sqrt{μ}}{\log μ}

$\mu + \sqrt{\log\log \mu} \log \mu \sqrt \mu + p \frac{\sqrt{\mu}} {\log \mu}$

— Douglas Zare

Câu trả lời:

Một phân phối Poisson với giá trị trung bình lớn là xấp xỉ bình thường, nhưng bạn phải cẩn thận rằng bạn muốn có một cái đuôi bị ràng buộc và phép tính gần đúng bình thường có độ chính xác thấp hơn gần đuôi.

Một cách tiếp cận được sử dụng trong câu hỏi MO này và với các phân phối nhị thức là nhận ra rằng đuôi giảm nhanh hơn một loạt hình học, vì vậy bạn có thể viết một giới hạn trên rõ ràng như một chuỗi hình học.

\begin{array}{rcl} \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{k}}{k!} & < & \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{D}}{D!} (\frac{μ}{D + 1})^{k - D} \\ = & \exp (- μ) \frac{μ^{D}}{D!} \frac{1}{1 - \frac{μ}{D + 1}} \\ < & \exp (- μ) \frac{μ^{D}}{\sqrt{2 π D} (D / e)^{D}} \frac{1}{1 - \frac{μ}{D + 1}} \\ = & \exp (D - μ) (\frac{μ}{D})^{D} \frac{D + 1}{\sqrt{2 π D} (D + 1 - μ)} \end{array}

$\begin{eqnarray}\sum_{k=D}^\infty \exp(-\mu)\frac{\mu^k}{k!} & \lt & \sum_{k=D}^\infty \exp(-\mu) \frac{\mu^D}{D!}\bigg(\frac \mu{D+1}\bigg)^{k-D} \\ & = & \exp(-\mu)\frac{\mu^D}{D!}\frac{1}{1-\frac{\mu}{D+1}} \\ & \lt & \exp(-\mu) \frac{\mu^D}{\sqrt{2\pi D}(D/e)^D} \frac{1}{1-\frac{\mu}{D+1}} \\ & = & \exp(D-\mu) \bigg(\frac{\mu}{D}\bigg)^D \frac{D+1}{\sqrt{2\pi D} (D+1-\mu)}\end{eqnarray}$

Dòng 2 dòng 3 có liên quan đến công thức của Stirling. Trong thực tế tôi nghĩ bạn sau đó muốn giải quyết bằng cách sử dụng tìm kiếm nhị phân. Phương pháp của Newton bắt đầu bằng dự đoán ban đầu vềcũng nên làm việc $\to$ $-p \log 2 = \log(\text{bound})$ $D = \mu + c \sqrt \mu.$

Ví dụ: với và , giải pháp số tôi nhận được là 1384,89. Phân phối Poisson với giá trị trung bình lấy các giá trị từ đến với xác suấtCác giá trị đến xảy ra với xác suất $p=100$ $\mu = 1000$ $1000$ $0$ $1384$ $1-1/2^{100.06}.$ $0$ $1383$ $1-1/2^{99.59}.$

— Douglas Zare
nguồn

+1. Một cách tiếp cận khác liên quan đến xác suất đuôi Poisson (ở bên phải) với xác suất đuôi của phân phối Gamma (ở bên trái), có thể được ước tính gần đúng (hơn) với xấp xỉ điểm yên.

— whuber

Có một chặng đường dài từ đó đến một cái gì đó bị giới hạn trong số học số nguyên 64 bit (không có exp, log, sqrt ..) nhưng tôi sẽ làm việc với nó; cảm ơn tất cả!

— fgrieu

(1) Tính đến gọi trình xấp xỉ Stirling (mà là không thích hợp), điều này được chính xác các ràng buộc tôi (opaquely) tham khảo trong bình luận của tôi vào OP. (Ví dụ, xem tại đây .)

— hồng y

Bạn có thể thấy P. Harremoës: Giới hạn sắc nét về xác suất đuôi đối với các biến ngẫu nhiên Poisson https://aineda.helsinki.fi/bitstream/handle/10138/229679/witmse_proc_17.pdf Các bất đẳng thức chính như sau. Đặt là biến ngẫu nhiên Poisson với tham số . Đặt Gọi là hàm phân phối tích lũy cho luật bình thường tiêu chuẩn. Sau đó, với tất cả số nguyên , tương đương với cho tất cả các số nguyên $Y$ $\lambda$

G (x) = \sqrt{2 (x \ln \frac{x}{λ} + λ - x)} s i g n (x - λ) .

$G(x)= \sqrt{2\left(x\ln \frac{x}{\lambda} +\lambda-x\right)} \ \ {\rm sign} \left(x-\lambda\right).$

Φ

$\Phi$

k \geq 0

$k\ge 0$

P (Y < k) \leq Φ (G (k)) \leq P (Y \leq k),

${\bf P}(Y<k)\le \Phi(G(k)) \le {\bf P}(Y\le k),$

Φ (G (k - 1)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$ . Hơn nữa, ngụ ý rằng với mọi số nguyên .

Φ (G (k + (1 / 2))) \leq P (Y \leq k)

$\Phi(G(k+(1/2))) \le {\bf P}(Y\le k)$

Φ (G (k - 1 / 2)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1/2)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$

— Pavel Ruzankin
nguồn

Nếu bạn có thể viết ra phương trình chính (giả sử chỉ có một hoặc hai) sẽ giúp ích trong trường hợp liên kết bị chết vào một lúc nào đó.

— jbowman