Kiểm tra phương sai hữu hạn?

Có thể kiểm tra độ chính xác (hoặc sự tồn tại) của phương sai của một biến ngẫu nhiên được đưa ra một mẫu không? Là một null, {phương sai tồn tại và là hữu hạn} hoặc {phương sai không tồn tại / là vô hạn} sẽ được chấp nhận. Về mặt triết học (và tính toán), điều này có vẻ rất lạ bởi vì sẽ không có sự khác biệt giữa một dân số không có phương sai hữu hạn và một người có phương sai rất lớn (giả sử> ), vì vậy tôi không hy vọng vấn đề này có thể xảy ra giải quyết.$10^{400}$

Một cách tiếp cận đã được đề xuất với tôi là thông qua Định lý giới hạn trung tâm: giả sử các mẫu là iid và dân số có nghĩa là hữu hạn, bằng cách nào đó, người ta có thể kiểm tra xem bằng cách nào đó, liệu trung bình mẫu có sai tiêu chuẩn đúng với việc tăng kích thước mẫu hay không. Tôi không chắc chắn tôi tin rằng phương pháp này sẽ làm việc, mặc dù. (Đặc biệt, tôi không thấy cách biến nó thành một bài kiểm tra phù hợp.)

Không, điều này là không thể, bởi vì một mẫu hữu hạn có kích thước không thể phân biệt một cách đáng tin cậy, giả sử, một dân số bình thường và một dân số bình thường bị ô nhiễm bởi một lượng phân phối 1 / N trong đó N >> n . (Tất nhiên cái trước có phương sai hữu hạn và cái sau có phương sai vô hạn.) Vì vậy, bất kỳ bài kiểm tra không tham số hoàn toàn nào cũng sẽ có công suất thấp tùy ý chống lại các lựa chọn thay thế như vậy.$n$$1/N$$N$$n$

Bạn không thể chắc chắn mà không biết phân phối. Nhưng có một số điều bạn có thể làm, chẳng hạn như xem xét cái có thể gọi là "phương sai một phần", tức là nếu bạn có một mẫu có kích thước , bạn vẽ phương sai ước tính từ n thuật ngữ đầu tiên , với n chạy từ 2 đến N .$N$$n$$n$$N$

Với phương sai dân số hữu hạn, bạn hy vọng rằng phương sai một phần sẽ sớm ổn định gần với phương sai dân số.

Với phương sai dân số vô hạn, bạn sẽ thấy sự tăng vọt của phương sai một phần theo sau là sự suy giảm chậm cho đến khi giá trị rất lớn tiếp theo xuất hiện trong mẫu.

Đây là một minh họa với các biến ngẫu nhiên Bình thường và Cauchy (và thang đo log)

Điều này có thể không hữu ích nếu hình dạng phân phối của bạn sao cho kích thước mẫu lớn hơn nhiều so với mức bạn cần để xác định nó với độ tin cậy đủ, nghĩa là trong đó các giá trị rất lớn khá hiếm (nhưng không cực kỳ) đối với phân phối có phương sai hữu hạn, hoặc là cực kỳ hiếm đối với một phân phối với phương sai vô hạn. Đối với một phân phối nhất định, sẽ có các cỡ mẫu có nhiều khả năng hơn là không tiết lộ bản chất của nó; ngược lại, đối với một cỡ mẫu nhất định, có những phân phối có nhiều khả năng hơn là không ngụy trang bản chất của chúng cho kích thước mẫu đó.

Đây là một câu trả lời khác. Giả sử bạn có thể giải quyết vấn đề, đại loại như thế này:

$$H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1).$$

Sau đó, bạn có thể thực hiện kiểm tra tỷ lệ khả năng Neyman-Pearson bình thường của so với H 1 . Lưu ý rằng H 1 là Cauchy (vô hạn sai) và H 0 là bình thường sinh viên t với 3 bậc tự do (hữu hạn sai) trong đó có tiếng Anh PDF: f ( x | ν ) = Γ ( ν + $H_{0}$$H_{1}$$H_{1}$$H_{0}$ $t$

$$f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}},$$

cho . Với dữ liệu mẫu ngẫu nhiên đơn giản x 1 , x 2 , ... , x n , kiểm tra tỷ lệ khả năng bác bỏ H 0 khi Λ ( x ) = Π n i = 1 f ( x i | v = 1 $-\infty < x < \infty$$x_{1},x_{2},\ldots,x_{n}$$H_{0}$ trong đók≥0được chọn sao cho P(Λ(X)>

$$\Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k,$$ $k \geq 0$ $$P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha.$$

Đó là một chút đại số để đơn giản hóa

$$\Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}.$$

Vì vậy, một lần nữa, chúng ta có được một mẫu ngẫu nhiên đơn giản, tính toán , và từ chối H 0 nếu Λ ( x ) là quá lớn. Lớn như thế nào? Đó là phần thú vị! Sẽ rất khó (không thể?) Để có được một hình thức đóng cho giá trị quan trọng, nhưng chúng tôi có thể ước chừng nó gần như chúng tôi muốn, chắc chắn. Đây là một cách để làm điều đó, với R. Giả sử α = 0,05 và để cười, giả sử n = 13 .$\Lambda(\mathbf{x})$$H_{0}$$\Lambda(\mathbf{x})$$\alpha = 0.05$$n = 13$

Chúng tôi tạo ra một loạt các mẫu dưới , tính toán Λ cho mỗi mẫu, và sau đó tìm quantile thứ 95.$H_{0}$$\Lambda$

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

$\approx 12.8842$$(\sqrt{3}/2)^{13}$$k \approx 1.9859$

$H_{0}$$H_{1}$$\alpha$

Disclaimers: đây là một ví dụ đồ chơi. Tôi không có bất kỳ tình huống thực tế nào trong đó tôi tò mò muốn biết liệu dữ liệu của tôi đến từ Cauchy, trái ngược với Student t với 3 df. Và câu hỏi ban đầu đã không nói bất cứ điều gì về các vấn đề được tham số hóa, nó dường như đang tìm kiếm nhiều hơn về một cách tiếp cận không tham số, mà tôi nghĩ rằng đã được giải quyết tốt bởi những người khác. Mục đích của câu trả lời này là dành cho những độc giả tương lai, những người vấp phải tiêu đề của câu hỏi và đang tìm kiếm cách tiếp cận sách giáo khoa bụi bặm cổ điển.

$H_{1}:\nu \leq 1$

$D\equiv Y_{1},Y_{2},\dots,Y_{N}$

1. $H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
2. $H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

Một giả thuyết có phương sai hữu hạn, một giả thuyết có phương sai vô hạn. Chỉ cần tính toán tỷ lệ cược:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau}$$

$\frac{P(H_{0}|I)}{P(H_{A}|I)}$

$$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$$ $$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$$

$L_{1}<\mu,\tau<U_{1}$$L_{2}<\sigma,\tau<U_{2}$

$$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$$

$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$$\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$

$$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$$

And now taking the ratio we find that the important parts of the normalising constants cancel and we get:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

And all integrals are still proper in the limit so we can get:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

The denominator integral cannot be analytically computed, but the numerator can, and we get for the numerator:

$$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$$

Now make change of variables $\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$ and you get a gamma integral:

$$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$$

And we get as a final analytic form for the odds for numerical work:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

So this can be thought of as a specific test of finite versus infinite variance. We could also do a T distribution into this framework to get another test (test the hypothesis that the degrees of freedom is greater than 2).

The counterexample is not relevant to the question asked. You want to test the null hypothesis that a sample of i.i.d. random variables is drawn from a distribution having finite variance, at a given significance level. I recommend a good reference text like "Statistical Inference" by Casella to understand the use and the limit of hypothesis testing. Regarding h.t. on finite variance, I don't have a reference handy, but the following paper addresses a similar, but stronger, version of the problem, i.e., if the distribution tails follow a power law.

POWER-LAW DISTRIBUTIONS IN EMPIRICAL DATA SIAM Review 51 (2009): 661--703.

One approach that had been suggested to me was via the Central Limit Theorem.

This is a old question, but I want to propose a way to use the CLT to test for large tails.

Let $X = \{X_1,\ldots,X_n\}$ be our sample. If the sample is a i.i.d. realization from a light tail distribution, then the CLT theorem holds. It follows that if $Y = \{Y_1,\ldots,Y_n\}$ is a bootstrap resample from $X$ then the distribution of:

$$Z = \sqrt{n}\times\frac{mean(Y) - mean(X)}{sd(Y)},$$

is also close to the N(0,1) distribution function.

Now all we have to do is perform a large number of bootstraps and compare the empirical distribution function of the observed Z's with the e.d.f. of a N(0,1). A natural way to make this comparison is the Kolmogorov–Smirnov test.

The following pictures illustrate the main idea. In both pictures each colored line is constructed from a i.i.d. realization of 1000 observations from the particular distribution, followed by a 200 bootstrap resamples of size 500 for the approximation of the Z ecdf. The black continuous line is the N(0,1) cdf.