Dự đoán và khoảng dung sai

Tôi có một vài câu hỏi cho dự đoán và khoảng dung sai.

Trước tiên, hãy đồng ý về định nghĩa của các khoảng dung sai: Chúng tôi được đưa ra mức độ tin cậy, giả sử là 90%, tỷ lệ phần trăm dân số cần nắm bắt, giả sử là 99% và cỡ mẫu, nói 20. Phân phối xác suất được biết, nói bình thường cho thuận tiện. Bây giờ, với ba số trên (90%, 99% và 20) và thực tế là phân phối cơ bản là bình thường, chúng ta có thể tính toán số dung sai . Cho một mẫu với giá trị trung bình và độ lệch chuẩn , khoảng dung sai là . Nếu khoảng dung sai này chiếm 99% dân số, thì mẫu được gọi là thành công $k$ $(x_1,x_2,\ldots,x_{20})$ $\bar{x}$ $s$ $\bar{x}\pm ks$ $(x_1,x_2,\ldots,x_{20})$ và yêu cầu là 90% các mẫu là thành công .

Nhận xét: 90% là xác suất tiên nghiệm để mẫu thành công. 99% là xác suất có điều kiện rằng một quan sát trong tương lai sẽ nằm trong khoảng dung sai, với điều kiện mẫu là thành công.

Câu hỏi của tôi: Chúng ta có thể xem các khoảng dự đoán là khoảng dung sai không? Nhìn trên web tôi nhận được câu trả lời mâu thuẫn về điều này, chưa kể rằng không ai thực sự xác định các khoảng dự đoán một cách cẩn thận. Vì vậy, nếu bạn có một định nghĩa chính xác về khoảng dự đoán (hoặc một tài liệu tham khảo), tôi sẽ đánh giá cao nó.

Điều tôi hiểu là một khoảng dự đoán 99% chẳng hạn, không nắm bắt 99% tất cả các giá trị trong tương lai cho tất cả các mẫu. Điều này sẽ giống như một khoảng dung sai chiếm 99% dân số với xác suất 100%.

Trong các định nghĩa tôi tìm thấy cho khoảng dự đoán 90%, 90% là xác suất tiên nghiệm được đưa ra một mẫu, giả sử (kích thước được cố định) và một quan sát trong tương lai , đó là sẽ ở trong khoảng dự đoán. Vì vậy, dường như cả mẫu và giá trị tương lai đều được đưa ra cùng một lúc, trái ngược với khoảng dung sai, trong đó mẫu được đưa ra và với một xác suất nhất định, đó là một thành công và trong điều kiện mẫu là một thành công $(x_1,x_2,\ldots,x_{20})$ $y$ $y$ , một giá trị tương lai được đưa ra và với một xác suất nhất định rơi vào khoảng dung sai. Tôi không chắc liệu định nghĩa trên của khoảng dự đoán là đúng hay không, nhưng nó có vẻ phản trực giác (ít nhất là).

Có ai giúp đỡ không?

prediction prediction-interval tolerance-interval

— Ioannis Souldatos
nguồn

Khoảng dung sai một phía cho một mẫu bình thường có thể giúp hiểu được khái niệm này. Giới hạn trên -tolerance không có gì ngoài giới hạn tin cậy trên của -quantile của phân phối giả định của mô hình. Do đó, trong trường hợp phân phối bình thường, đây là giới hạn tin cậy trên của tham số trong đó là phân phối gaussian tiêu chuẩn.

99 %

$99\%$

99 %

$99\%$

μ + k σ

$\mu + k\sigma$

k = z_{99 %}

$k=z_{99\%}$

99 %

$99\%$

— Stéphane Laurent

Đây là một cải cách tốt, Stéphane, vì nó ngay lập tức cho thấy có một số loại giới hạn dung sai: người ta có thể yêu cầu giới hạn tin cậy cao hơn đối với , đối với giới hạn tin cậy thấp hơn đối với hoặc ước tính không thiên vị của tham số đó. Cả ba đều được gọi là "giới hạn chịu đựng" trong tài liệu.

μ + z_{0.99} σ

$\mu + z_{0.99}\sigma$

μ + z_{0.99} σ

$\mu + z_{0.99}\sigma$

— whuber

Tôi nghĩ bạn muốn nói giới hạn tin cậy thấp hơn đối với ?

μ - z_{0.99} σ

$\mu - z_{0.99}\sigma$

— Stéphane Laurent

Trên thực tế, không, Stéphane (đó là lý do tại sao tôi đã cẩn thận lặp lại công thức cho tham số). Cũng có ba định nghĩa tương tự cho giới hạn dung sai thấp hơn . Ví dụ, chúng ta có thể muốn dưới -estimate các thứ 99 trên phần trăm dân số, nhưng để kiểm soát số lượng đánh giá thấp chúng tôi nhấn mạnh có thể (nói) 5% cơ hội mà đánh giá thấp chúng tôi vẫn sẽ là quá cao. Điều này sẽ cho phép chúng tôi nói những điều như "Dữ liệu hiển thị, với độ tin cậy 95%, rằng tỷ lệ phần trăm thứ 99 của dân số vượt quá giá trị tương tự."

— whuber

Câu trả lời:

Định nghĩa của bạn có vẻ là chính xác.

Các cuốn sách để tham khảo ý kiến về những vấn đề này là thống kê Khoảng (Gerald Hahn & William Meeker), năm 1991. Tôi quote:

Một khoảng dự đoán cho một quan sát trong tương lai là một khoảng sẽ, với một mức độ tin cậy xác định, sẽ chứa quan sát được chọn ngẫu nhiên tiếp theo (hoặc một số định trước khác) từ dân số.

[A] khoảng dung sai là khoảng mà người ta có thể tuyên bố có chứa ít nhất một tỷ lệ xác định, p , của dân số với mức độ tin cậy xác định, . $100(1-\alpha)\%$

Dưới đây là sự phục hồi trong thuật ngữ toán học tiêu chuẩn. Đặt dữ liệu được coi là sự hiện thực hóa các biến ngẫu nhiên độc lập với hàm phân phối tích lũy phổ biến . ( xuất hiện như một lời nhắc nhở rằng có thể không xác định nhưng được cho là nằm trong một tập hợp phân phối nhất định ). Đặt là một biến ngẫu nhiên khác có cùng phân phối và độc lập với biến đầu tiên . $\mathbf{x}=(x_1,\ldots,x_n)$ $\mathbf{X}=(X_1,\ldots,X_n)$ $F_\theta$ $\theta$ $F$ ${F_\theta \vert \theta \in \Theta}$ $X_0$ $F_\theta$ $n$

Một khoảng dự đoán (cho một quan sát trong tương lai), được đưa ra bởi các điểm cuối , có thuộc tính xác định rằng $[l(\mathbf{x}), u(\mathbf{x})]$

$inf_{θ} {{Pr}_{θ} (X_{0} \in [l (X), u (X)])} = 100 (1 - α) % .$ $\inf_\theta\{{\Pr}_\theta(X_0 \in [l(\mathbf{X}), u(\mathbf{X})])\}= 100(1-\alpha)\%.$
Cụ thể, đề cập đến phân phối biến thiên của xác định theo luật . Lưu ý sự vắng mặt của bất kỳ xác suất có điều kiện: đây là một xác suất chung đầy đủ. Cũng lưu ý rằng sự vắng mặt của bất kỳ tham chiếu nào đến chuỗi thời gian: rất có thể được quan sát kịp thời trước các giá trị khác. Không quan trọng. ${\Pr}_\theta$ $n+1$ $(X_0, X_1, \ldots, X_n)$ $F_\theta$ $X_0$

Tôi không chắc chắn khía cạnh nào của điều này có thể là "phản trực giác". Nếu chúng tôi quan niệm chọn một quy trình thống kê là một hoạt động cần theo đuổi trước khi thu thập dữ liệu, thì đây là một công thức tự nhiên và hợp lý của quy trình hai bước được lên kế hoạch, bởi vì cả hai dữ liệu ( ) và "giá trị tương lai" cần được mô hình hóa là ngẫu nhiên. $X_i, i=1,\ldots,n$ $X_0$
Một khoảng dung sai, được cho bởi các điểm cuối , có thuộc tính xác định rằng $(L(\mathbf{x}), U(\mathbf{x})]$

$inf_{θ} {{Pr}_{θ} (F_{θ} (U (X)) - F_{θ} (L (X)) \geq p)} = 100 (1 - α) % .$ $\inf_\theta\{{\Pr}_\theta\left(F_\theta(U(\mathbf{X})) - F_\theta(L(\mathbf{X})\right) \ge p)\} = 100(1-\alpha)\%.$
Lưu ý sự vắng mặt của bất kỳ tham chiếu nào đến : nó không có vai trò. $X_0$

Khi là tập hợp các bản phân phối Bình thường, sẽ tồn tại các khoảng dự đoán của biểu mẫu $\{F_\theta\}$

l (x) = \bar{x} - k (α, n) s, u (x) = \bar{x} + k (α, n) s

$l(\mathbf{x}) = \bar{x} - k(\alpha, n) s, \quad u(\mathbf{x}) = \bar{x} + k(\alpha, n) s$

( là giá trị trung bình mẫu và là độ lệch chuẩn mẫu). Các giá trị của hàm , mà Hahn & Meeker lập bảng, không phụ thuộc vào dữ liệu . Có các thủ tục khoảng dự đoán khác, ngay cả trong trường hợp Bình thường: đây không phải là những quy trình duy nhất. $\bar{x}$ $s$ $k$ $\mathbf{x}$

Tương tự, tồn tại các khoảng dung sai của mẫu

L (x) = \bar{x} - K (α, n, p) s, U (x) = \bar{x} + K (α, n, p) s .

$L(\mathbf{x}) = \bar{x} - K(\alpha, n, p) s, \quad U(\mathbf{x}) = \bar{x} + K(\alpha, n, p) s.$

Có các thủ tục khoảng dung sai khác : đây không phải là những quy trình duy nhất.

Lưu ý sự giống nhau giữa các cặp công thức này, chúng ta có thể giải phương trình

k (α, n) = K (α^{'}, n, p) .

$k(\alpha, n) = K(\alpha', n, p).$

Điều này cho phép người ta diễn giải lại một khoảng dự đoán là một khoảng dung sai (theo nhiều cách khác nhau có thể bằng cách thay đổi và ) hoặc diễn giải lại một khoảng dung sai như một khoảng dự đoán (chỉ bây giờ thường được xác định duy nhất bởi và ). Đây có thể là một nguồn gốc của sự nhầm lẫn. $\alpha'$ $p$ $\alpha$ $\alpha'$ $p$

— whuber
nguồn

Sự nhầm lẫn giữa các khoảng này là có thật. Một thập kỷ trước, tôi đã có một vài cuộc trò chuyện khó khăn với một nhà thống kê chính phủ, người không biết gì về sự khác biệt và (không thể nhận ra) một cách độc hại. Vai trò nổi bật của cô trong việc tạo hướng dẫn, xem xét báo cáo, tư vấn cho nhân viên xử lý tình huống, phân phối phần mềm và thậm chí xuất bản đánh giá ngang hàng đã thúc đẩy sự tiếp tục của những quan niệm sai lầm này. Cẩn thận!

— whuber

Câu trả lời rất hay, cảm ơn. Tôi đã có một số nhà thống kê nói rằng khoảng dự đoán là khoảng dung sai với . Có một thực tế thực sự đằng sau ý tưởng này? Nói cách khác, có đúng là hay đại loại như vậy không?

p = 50 %

$p=50\%$

k (α, n) = K (α, n, 0.5)

$k(\alpha,n)=K(\alpha,n,0.5)$

— Stéphane Laurent

Không, đó không phải là sự thật @ Stéphane. Để xem tại sao không, hãy xem xét trường hợp cực kỳ lớn và độ tin cậy vừa phải, nói 95%. Do đó, với , khoảng dung sai hai mặt phải cực kỳ gần với 50% phân phối ở giữa, do đó, theo định nghĩa, chỉ có 50% khả năng sẽ nằm trong đó, không phải là 95% mong muốn. Đó là một sự khác biệt rất lớn! Theo trực giác, một khoảng dung sai cho 95% dân số phải gần với khoảng dự đoán với độ tin cậy 95%, nhưng họ vẫn không đồng ý chính xác.

n

$n$

p = 50 %

$p=50\%$

X_{0}

$X_0$

— whuber

Tôi vừa nghĩ về điều này và tôi tin rằng thực tế là như sau: khi lớn. Điều này dễ dàng nhận thấy khi là hệ số dung sai cổ điển được cung cấp với sự trợ giúp của phân phối t không trung tâm ( -quantile là tham số không trung tâm )

k (α, n) \approx K (50 %, n, 1 - α)

$\boxed{k(\alpha,n) \approx K(50\%,n,1-\alpha)}$

n

$n$

K

$K$

50 %

$50\%$

z_{1 - α} / \sqrt{n}

$z_{1-\alpha}/\sqrt{n}$

— Stéphane Laurent

@whuber. Cảm ơn bạn đã trả lời. Tôi sẽ phải chắc chắn rằng tôi hiểu nó, trước khi tôi đánh dấu nó chính xác. Hãy cho tôi một chút thời gian để "tiêu hóa" nó.

— Ioannis Souldatos

Theo tôi hiểu, đối với giới hạn dung sai thông thường, giá trị của đến từ phần trăm không trung tâm t. Rõ ràng, theo quan điểm của W Huber, có một số nhà thống kê không quen với ý tưởng về giới hạn dung sai so với giới hạn dự đoán; ý tưởng về sự dung nạp dường như nảy sinh chủ yếu trong thiết kế và sản xuất kỹ thuật, trái ngược với thống kê sinh học lâm sàng. Có lẽ lý do cho sự thiếu quen thuộc với các khoảng dung sai và sự nhầm lẫn với các khoảng dự đoán là bối cảnh mà người ta được đào tạo thống kê. $K(\alpha,p)$

— Scott P.
nguồn