Làm thế nào để tính xác suất liên quan đến điểm Z lớn vô lý?

Các gói phần mềm để phát hiện mô-đun mạng có thể trả về điểm Z rất cao (mức cao nhất tôi từng thấy là hơn 600.000+, nhưng điểm Z của hơn 100 là khá phổ biến). Tôi dự định chỉ ra rằng những điểm Z này là không có thật.

Điểm Z rất lớn tương ứng với xác suất liên quan cực kỳ thấp. Các giá trị của xác suất liên quan được đưa ra trên ví dụ trang wikipedia phân phối bình thường (và có thể là mọi sách giáo khoa thống kê) cho điểm Z lên đến 6. Vì vậy ...

Câu hỏi : Làm sao người ta tính toán hàm sai số $1-\mathrm{erf}(n/\sqrt{2})$cho n lên tới 1.000.000, nói gì?

Tôi đặc biệt sau một gói đã được triển khai cho việc này (nếu có thể). Cái tốt nhất tôi tìm thấy cho đến nay là WolframAlpha, người quản lý để tính toán nó với n = 150 ( ở đây ).

Câu hỏi liên quan đến chức năng lỗi bổ sung

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

cho các giá trị "lớn" của $x$ ( $=n/\sqrt{2}$ trong câu hỏi ban đầu) - nghĩa là, từ 100 đến 700.000 hoặc hơn. (Trong thực tế, bất kỳ giá trị nào lớn hơn khoảng 6 nên được coi là "lớn" như chúng ta sẽ thấy.) Lưu ý rằng vì điều này sẽ được sử dụng để tính giá trị p, nên có rất ít giá trị trong việc thu được nhiều hơn ba chữ số có nghĩa (thập phân) .

Để bắt đầu, hãy xem xét xấp xỉ được đề xuất bởi @Iterator,

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

Ở đâu

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

Mặc dù đây là một xấp xỉ tuyệt vời cho chính hàm lỗi, nhưng đó là một xấp xỉ khủng khiếp đối với $\textrm{erfc}$ . Tuy nhiên, có một cách để khắc phục một cách có hệ thống.

Đối với các giá trị p được liên kết với các giá trị lớn như vậy của , chúng tôi quan tâm đến lỗi tương đối f ( x ) / erfc ( x ) - 1 : chúng tôi hy vọng giá trị tuyệt đối của nó sẽ nhỏ hơn 0,001 cho ba chữ số chính xác. Thật không may, biểu thức này rất khó nghiên cứu cho x lớn do dòng chảy trong tính toán chính xác kép. Đây là một lần thử, tính toán lỗi tương đối so với x với 0 ≤ x ≤ 5,8 :$x$ $f(x)/\textrm{erfc}(x) - 1$$x$$x$$0 \le x \le 5.8$

Tính toán trở nên không ổn định một lần vượt quá 5,3 hoặc hơn và không thể cung cấp một chữ số có nghĩa vượt quá 5,8. Đây không phải là ngạc nhiên: exp ( - 5,8 2 ) ≈ 10 - 14,6 đang đẩy các giới hạn của số học đúp chính xác. Bởi vì không có bằng chứng nào cho thấy lỗi tương đối sẽ nhỏ đến mức chấp nhận được đối với x lớn hơn$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$ , chúng ta cần phải làm tốt hơn.

Việc thực hiện tính toán trong số học mở rộng (với Mathicala ) sẽ cải thiện bức tranh của chúng ta về những gì đang diễn ra:

Lỗi tăng nhanh với và không có dấu hiệu chững lại. Quá x = 10 hoặc hơn, phép tính gần đúng này thậm chí không cung cấp một chữ số thông tin đáng tin cậy!$x$$x=10$

Tuy nhiên, cốt truyện đang bắt đầu nhìn tuyến tính. Chúng tôi có thể đoán rằng lỗi tương đối tỷ lệ thuận với . (Điều này có ý nghĩa trên cơ sở lý thuyết: erfc rõ ràng là một hàm lẻ và f rõ ràng là chẵn, vì vậy tỷ lệ của chúng phải là một hàm lẻ. Vì vậy, chúng ta sẽ mong đợi lỗi tương đối, nếu tăng, sẽ hoạt động như một công suất lẻ của $x$$\textrm{erfc}$$f$$x$ .) Điều này dẫn chúng ta nghiên cứu lỗi tương đối chia cho . Tương đương, tôi chọn kiểm tra x ⋅ erfc ( x ) / f ( x $x$$x \cdot \textrm{erfc}(x)/f(x)$, bởi vì hy vọng là điều này sẽ có một giá trị giới hạn không đổi. Đây là biểu đồ của nó:

Dự đoán của chúng tôi dường như được đưa ra: tỷ lệ này dường như đang tiến đến giới hạn khoảng 8 hoặc hơn. Khi được hỏi, Mathematica sẽ cung cấp cho nó:

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

Giá trị là . Điều này cho phép chúng tôi cải thiện ước tính:chúng tôi thực hiện$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$

$$f_1(x) = f(x) \frac{a_1}{x}$$

như sự sàng lọc đầu tiên của xấp xỉ. Khi thực sự lớn - lớn hơn vài nghìn - xấp xỉ này là tốt. Bởi vì nó vẫn sẽ không đủ tốt cho một loạt các đối số thú vị trong khoảng từ 5,3 đến 2000 hoặc lâu hơn, hãy lặp lại quy trình. Lần này, lỗi tương đối nghịch - cụ thể là biểu thức 1 - erfc ( x ) / f 1 ( x ) - nên hoạt động như 1 / x 2 cho x lớn (theo các cân nhắc tương đương trước đó). Theo đó, chúng tôi nhân với x $x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$ và tìm giới hạn tiếp theo:

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

Giá trị là

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

Quá trình này có thể tiến hành miễn là chúng ta muốn. Tôi lấy nó ra thêm một bước nữa, tìm

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

với giá trị xấp xỉ 1623,67. (Biểu thức đầy đủ liên quan đến hàm hợp lý bậc tám của $\pi$ và quá dài để có ích ở đây.)

Unwinding các hoạt động này mang lại xấp xỉ cuối cùng của chúng tôi

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

Sai số tỷ lệ với . Nhập khẩu là hằng số tỷ lệ, vì vậy chúng tôi vẽ x 6 ( 1 - erfc ( x ) / $x^{-6}$ :$x^6(1 - \textrm{erfc}(x) / f_3(x))$

Nó nhanh chóng đạt đến giá trị giới hạn vào khoảng 2660,59. Sử dụng xấp xỉ , chúng tôi thu được ước tính erfc ( x ) có độ chính xác tương đối tốt hơn 2661 / x 6 cho tất cả x > 0 . Khi x vượt quá 20 hoặc hơn, chúng ta có ba chữ số có nghĩa (hoặc nhiều hơn nữa, vì x trở nên lớn hơn). Để kiểm tra, đây là bảng so sánh các giá trị chính xác với xấp xỉ cho x trong khoảng từ 10 đến 20 :$f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

Trên thực tế, phép tính gần đúng này cung cấp ít nhất hai số liệu chính xác có ý nghĩa cho đi, đó chỉ là về cách tính toán của người đi bộ (chẳng hạn như chức năng của Excel ).$x=8$NormSDist

Cuối cùng, người ta có thể lo lắng về khả năng tính toán xấp xỉ ban đầu của chúng tôi . Tuy nhiên, điều đó không khó: khi x đủ lớn để gây ra dòng chảy theo cấp số nhân, căn bậc hai cũng xấp xỉ bằng một nửa số mũ,$f$$x$

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

Việc tính toán logarit của điều này (trong cơ sở 10) là đơn giản và sẵn sàng cho kết quả mong muốn. Ví dụ: đặt . Logarit phổ biến của phép tính gần đúng này là$x=1000$

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

Sản lượng lũy ​​thừa

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

Áp dụng hiệu chỉnh (trong ) tạo ra$f_3$

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

(Và trên thực tế, lưu ý rằng việc sửa chữa làm giảm xấp xỉ ban đầu hơn 99% .). (Xấp xỉ này khác với giá trị chính xác chỉ trong chữ số cuối cùng Một xấp xỉ nổi tiếng, exp ( - x 2 ) / ( x $a_1/x \approx 1\text{%}$$\exp(-x^2)/(x\sqrt{\pi})$$1.860038 \cdot 10^{-434298}$

Một giới hạn trên đơn giản

$z > 0$

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ where $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$ is the standard normal pdf. I've used the notation $S(z)$ in deference to the standard notation in survival analysis. In engineering contexts, they call this function the $Q$-function and denote it by $Q(z)$.

Then, a very simple, elementary upper bound is

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$ where the notation on the right-hand side indicates this is an upper-bound estimate. This answer gives a proof of the bound.

There are several nice complementary lower bounds as well. One of the handiest and easiest to derive is the bound

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$ There are at least three separate methods for deriving this bound. A rough sketch of one such method can be found in this answer to a related question.

A picture

Below is a plot of the two bounds (in grey) along with the actual function $S(z)$.

How good is it?

From the plot, it seems that the bounds become quite tight even for moderately large $z$. We might ask ourselves how tight they are and what sort of quantitative statement in that regard can be made.

One useful measure of tightness is the absolute relative error

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$ This gives you the proportional error of the estimate.

Now, note that, since all of the involved functions are nonnegative, by using the bounding properties of $\Su(z)$ and $\Sl(z)$, we get

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ and so this provides a proof that for $z \geq 10$ the upper-bound is correct to within 1%, for $z \geq 28$ it is correct to within 0.1% and for $z \geq 100$ it is correct to within 0.01%.

In fact, the simple form of the bounds provides a good check on other "approximations". If, in the numerical calculation of more complicated approximations, we get a value outside these bounds, we can simply "correct" it to take the value of, e.g., the upper bound provided here.

There are many refinements of these bounds. The Laplace bounds mentioned here provide a nice sequence of upper and lower bounds on $S(z)$ of the form $R(z) \varphi(z)$ where $R(z)$ is a rational function.

Finally, here is another somewhat-related question and answer.

You can approximate it with much simpler functions - see this Wikipedia section for more information. The basic approximation is that $\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

The article has an incorrect link for that section. The PDF referenced can be found in Sergei Winitzki's files - or at this link.