Khoảng tin cậy cho phương sai cho một quan sát

Đây là một vấn đề từ "Olympic sinh viên Kolmogorov lần thứ 7 về lý thuyết xác suất":

Với một quan sát $X$ từ một $\operatorname{Normal}(\mu,\sigma^2)$ phân phối với cả hai tham số chưa biết, cho một khoảng tin cậy cho $\sigma^2$ với mức độ tin cậy của ít nhất 99%.

Dường như với tôi rằng điều này là không thể. Tôi có giải pháp, nhưng chưa đọc nó. Có suy nghĩ gì không?

Tôi sẽ đăng giải pháp trong một vài ngày.

[Chỉnh sửa tiếp theo: Giải pháp chính thức được đăng dưới đây. Giải pháp của Cardinal dài hơn, nhưng cho khoảng tin cậy tốt hơn. Cũng xin cảm ơn Max và Glen_b cho đầu vào của họ.]

Nhìn qua lăng kính của sự bất bình đẳng xác suất và các kết nối với trường hợp đa quan sát, kết quả này có vẻ không phải là không thể, hoặc, ít nhất, nó có vẻ hợp lý hơn.

Hãy với μ và σ 2 chưa biết. Chúng ta có thể viết X = σ Z + μ cho Z ∼ N ( 0 , 1 ) .$\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$$\mu$$\sigma^2$$X = \sigma Z + \mu$$Z \sim \mathcal N(0,1)$

Khiếu nại chính : là khoảng tin cậy ( 1 - α ) cho σ 2 trong đó q α là lượng tử α -level của phân phối chi bình phương với một bậc tự do. Hơn nữa, kể từ khoảng thời gian này có chính xác ( 1 - α ) bảo hiểm khi μ = 0 , nó là khoảng thời gian có thể hẹp nhất có dạng [ 0 , b X đối với một số $[0,X^2/q_\alpha)$$(1-\alpha)$$\sigma^2$$q_\alpha$$\alpha$ $(1-\alpha)$$\mu = 0$$[0,b X^2)$$b \in \mathbb R$ .

Một lý do cho sự lạc quan

Nhớ lại rằng trong trường hợp, với T = Σ n i = 1 ( X i - ˉ X ) 2 , các điển hình ( 1 - α ) Khoảng tin cậy cho σ 2 là ($n \geq 2$$T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$$\sigma^2$ trong đó q k , a là lượng tử a -level của một bình phương với k bậc tự do. Điều này, tất nhiên, giữ cho bất kỳ μ . Mặc dù đây làkhoảngphổ biến nhất(được gọi là khoảng thời gianbằng nhauvì những lý do rõ ràng), nó không phải là khoảng duy nhất và thậm chí không phải là chiều rộng nhỏ nhất! Rõ ràng, một lựa chọn hợp lệ khác là ( 0 ,

$$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$$ $q_{k,a}$$a$$k$$\mu$ $$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$$

Kể từ đó, , sau đó ( 0 , Σ n i = 1 X 2 $T \leq \sum_{i=1}^n X_i^2$ cũng có phạm vi bảo hiểm ít nhất ( 1 - α ) .

$$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$$ $(1-\alpha)$

Nhìn dưới ánh sáng này, chúng ta có thể lạc quan rằng khoảng thời gian trong yêu cầu chính là đúng với . Sự khác biệt chính là không có phân phối chi bình phương không bậc tự do cho trường hợp quan sát đơn lẻ, vì vậy chúng ta phải hy vọng rằng việc sử dụng định lượng một bậc tự do sẽ hoạt động.$n = 1$

Một nửa bước về phía đích của chúng tôi ( Khai thác đuôi phải )

Trước khi đi sâu vào một bằng chứng về yêu cầu chính, trước tiên chúng ta hãy xem xét một tuyên bố sơ bộ gần như không mạnh mẽ hoặc thỏa mãn về mặt thống kê, nhưng có lẽ cung cấp thêm một số hiểu biết sâu sắc về những gì đang diễn ra. Bạn có thể bỏ qua bằng chứng về yêu cầu chính bên dưới, mà không mất nhiều (nếu có). Trong phần này và phần tiếp theo, các bằng chứng trong khi một chút tinh tế chỉ dựa trên các sự kiện cơ bản: tính đơn điệu của xác suất, tính đối xứng và tính không đồng nhất của phân phối chuẩn.

Phụ tuyên bố : là một ( 1 - α ) Khoảng tin cậy cho σ 2 càng lâu càng α > 1 / 2 . Ở đây z α là lượng tử α -level của một chuẩn thông thường.$[0,X^2/z^2_\alpha)$$(1-\alpha)$$\sigma^2$$\alpha > 1/2$$z_\alpha$$\alpha$

Bằng chứng . và | σ Z + L | d = | - σ Z + L | bởi đối xứng, vì vậy trong những gì sau chúng ta có thể lấy L ≥ 0 mà không mất tính tổng quát. Bây giờ, đối với θ ≥ 0 và L ≥ 0 , P ( | X | > θ ) ≥ P ( X > θ $|X| = |-X|$$|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$$\mu \geq 0$$\theta \geq 0$$\mu \geq 0$ Và như vậy với θ = z α σ , chúng ta thấy rằng P ( 0 ≤ σ 2 < X 2 / z 2 α ) ≥ 1 -

$$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$$ $\theta = z_{\alpha} \sigma$ Này chỉ hoạt động đối với α > 1 / 2 , vì đó là những gì cần thiết cho z α > 0 . $$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$$ $\alpha > 1/2$$z_\alpha > 0$

Điều này chứng tỏ yêu cầu phụ trợ. Trong khi minh họa, nó là unsatifying từ góc độ thống kê vì nó đòi hỏi một ngớ ngẩn lớn lại làm việc.$\alpha$

Chứng minh yêu cầu chính

Một sàng lọc của các đối số trên dẫn đến một kết quả sẽ làm việc cho một mức độ tin cậy tùy ý. Đầu tiên, lưu ý rằng Set một = μ / σ ≥ 0 và b = θ / σ ≥ 0 . Khi đó, P ( | Z + a | > b ) = Φ ( a - b ) + Φ ( - a - b

$$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$$ $a = \mu/\sigma \geq 0$$b = \theta / \sigma \geq 0$ Nếu chúng ta có thể chỉ ra rằng phía bên tay phải tăng theo a cho mỗi b cố định, thì chúng ta có thể sử dụng một đối số tương tự như trong đối số trước. Điều này ít nhất là hợp lý, vì chúng tôi muốn tin rằng nếu giá trị trung bình tăng, thì có khả năng cao hơn là chúng ta thấy một giá trị có mô đun vượt quá b . (Tuy nhiên, chúng ta phải coi chừng khối lượng giảm nhanh ở đuôi bên trái!) $$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$$ $a$$b$$b$

Set . Khi đó f ′ b ( a ) = φ ( a - b ) - φ ( - a - b ) = φ ( a - b ) - φ ( a + b $f_b(a) = \Phi(a-b) + \Phi(-a-b)$ Lưu ý rằng f ′ b ( 0 ) = 0 và đối với u dương, φ ( u ) đang giảm theo u . Bây giờ, đối với một ∈ ( 0 , 2 b ) , nó rất dễ dàng để thấy rằng φ ( một - b ) ≥ φ ( - b ) = φ ( b ) . Những sự kiện này được thực hiện cùng nhau dễ dàng ngụ ý rằng f ′ b (

$$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$$ $f'_b(0) = 0$$u$$\varphi(u)$$u$$a \in (0,2b)$$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$ cho tất cả một ≥ 0 và bất kỳ cố định b ≥ 0 . $$f'_b(a) \geq 0$$ $a \geq 0$$b \geq 0$

Do đó, chúng tôi đã chỉ ra rằng đối với và b ≥ 0 , P ( | Z + một | > b ) ≥ P ( | Z | > b ) = 2 Φ ( - b $a \geq 0$$b \geq 0$

$$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$$

Làm sáng tỏ tất cả điều này, nếu chúng ta lấy $\theta = \sqrt{q_\alpha} \sigma$

$$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$$

Nhận xét kết thúc : Việc đọc cẩn thận đối số trên cho thấy rằng nó chỉ sử dụng các thuộc tính đối xứng và không đối xứng của phân phối chuẩn. Do đó, cách tiếp cận hoạt động tương tự để có được khoảng tin cậy từ một quan sát duy nhất từ ​​bất kỳ gia đình quy mô vị trí không đối xứng nào, ví dụ, phân phối Cauchy hoặc Laplace.

Thời gian để theo dõi! Đây là giải pháp tôi được đưa ra:

Chúng tôi sẽ xây dựng một khoảng tin cậy của mẫu $[0,T(X))$, Ở đâu $T(\cdot)$là một số thống kê. Theo định nghĩa, đây sẽ là khoảng tin cậy với mức độ tin cậy ít nhất 99% nếu

$$(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$$ Chúng tôi lưu ý rằng mật độ của $\mathcal{N}(\mu,\sigma^2)$ phân phối không vượt quá $1/\sigma\sqrt{2\pi}$. Vì thế,$\mathbb{P}(|X| \leq a) \leq a/\sigma$ Cho mọi $a \geq 0$. Nó theo đó $$t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$$ Cắm vào $t = 0.01$ chúng tôi có được rằng số liệu thống kê thích hợp là $T(X) = 10000X^2.$

The confidence interval (which is very wide) is slightly conservative in simulation, with no empirical coverage (in 100,000 simulations) lower than 99.15% as I varied the CV over many orders of magnitude.

For comparison, I also simulated cardinal's confidence interval. I should note that cardinal's interval is quite a bit narrower--in the 99% case, his ends up being up to about $6300X^2$, as opposed to the $10000X^2$ in the provided solution. Empirical coverage is right at the nominal level, again over many orders of magnitude for the CV. So his interval definitely wins.

I haven't had time to look carefully at the paper Max posted, but I do plan to look at that and may add some comments regarding it later (i.e., no sooner than a week). That paper claims a 99% confidence interval of $(0,4900X^2)$, which has empirical coverage slightly lower (about 98.85%) than the nominal coverage for large CVs in my brief simulations.

The CI's $(0,\infty)$ presumably.