31

Tôi rất mới với số liệu thống kê của Bayes và đây có thể là một câu hỏi ngớ ngẩn. Tuy nhiên:

Xem xét một khoảng đáng tin cậy với một trước đó chỉ định phân phối thống nhất. Ví dụ: từ 0 đến 1, trong đó 0 đến 1 đại diện cho toàn bộ các giá trị có thể có của hiệu ứng. Trong trường hợp này, liệu khoảng tin cậy 95% có bằng khoảng tin cậy 95% không?

— pomodoro
nguồn

23

Nhiều khoảng tin cậy thường xuyên (TCTD) dựa trên hàm khả năng. Nếu phân phối trước đó thực sự không có nhiều thông tin, thì hậu thế Bayes về cơ bản có cùng thông tin với chức năng khả năng. Do đó, trong thực tế, một khoảng xác suất Bayes (hoặc khoảng tin cậy) có thể rất giống nhau về số lượng với khoảng tin cậy thường xuyên. [Tất nhiên, ngay cả khi giống nhau về mặt số, vẫn có những khác biệt về triết học trong việc giải thích giữa ước lượng khoảng thời gian thường xuyên và Bayes.]

Dưới đây là một ví dụ đơn giản, lập dự toán nhị thức xác xuất thành công Giả sử chúng ta có quan sát (thử nghiệm) với thành công. $\theta.$ $n = 100$ $X = 73$

Frequentist: Các truyền thống Wald khoảng sử dụng các ước lượng điểm Và CI 95% có dạng $\hat \theta = X/n = 73/100 = 0.73.$ tính toán cho

\hat{θ} \pm 1.96 \sqrt{\frac{\hat{θ} (1 - \hat{θ})}{n}},

$\hat \theta \pm 1.96\sqrt{\frac{\hat \theta(1-\hat \theta)} {n}},$

(0.643, 0.817) .

$(0.643,\,0.817).$

n = 100;  x = 73;  th.w = x/n;  pm = c(-1,1)
ci.w = th.w + pm*1.96*sqrt(th.w*(1-th.w)/n);  ci.w
[1] 0.6429839 0.8170161

Hình thức này của CI giả định rằng phân phối nhị thức có liên quan có thể được xấp xỉ bởi những người bình thường và rằng sai số được cũng xấp xỉ bằng $\sqrt{\theta(1-\theta)/n}$ Riêng vớinhỏnhững giả định này không cần phải đúng. [Các trường hợphoặcđặc biệt có vấn đề.] $\sqrt{\hat\theta(1-\hat\theta)/n}.$ $n,$ $X = 0$ $X = n$

Các Agresti-Coull CI đã được chứng minh là có khả năng phủ sóng chính xác hơn. Khoảng thời gian này 'thêm hai Thành công và hai Thất bại' như một mẹo để có xác suất bảo hiểm gần tới 95%. Nó bắt đầu với ước lượng điểm nơi Sau đó, một CI 95% có dạng $\tilde \theta = (X+2)/\tilde n,$ $\tilde n + 4.$ trong đó tính đếnĐối vớivàsự khác biệt giữa hai phong cách này của khoảng tin cậy gần như không đáng kể.

\tilde{θ} \pm 1.96 \sqrt{\frac{\tilde{θ} (1 - \tilde{θ})}{\tilde{n}}},

$\tilde \theta \pm 1.96\sqrt{\frac{\tilde \theta(1-\tilde \theta)} {\tilde n}},$

(0.612, 0.792) .

$(0.612, 0.792).$

n > 100

$n > 100$

0.3 < \tilde{θ} < 0.7,

$0.3 < \tilde \theta < 0.7,$

ci.a = th.a + pm*1.96*sqrt(th.a*(1-th.a)/n);  ci.a
[1] 0.6122700 0.7915761

Bayesian: Một điều không phổ biến trước đây trong tình huống này là Hàm khả năng tỷ lệ thuận với Nhân các hạt nhân của trước và khả năng chúng ta có hạt nhân của phân phối sau $\mathsf{Beta}(1,1) \equiv \mathsf{Unif}(0,1).$ $\theta^x(1-\theta)^{n-x}.$ $\mathsf{Beta}(x+1,\, n-x+1).$

Sau đó, ước tính khoảng 95% Bayes sử dụng các lượng tử 0,025 và 0,975 của phân bố sau để có được Khi phân phối trước là 'phẳng' hoặc 'không phù hợp', sự khác biệt về số giữa khoảng xác suất Bayes và khoảng tin cậy Agresti-Coull là không đáng kể. $(0.635, 0.807).$

qbeta(c(.025, .975), 74, 28)
[1] 0.6353758 0.8072313

Lưu ý: (a) Trong tình huống này, một số người Bayes thích sự không phù hợp trước (b) Đối với các mức độ tin cậy khác hơn 95%, Agresti-Coull CI sử dụng ước tính điểm hơi khác nhau. (c) Đối với dữ liệu không phải là nhị thức, có thể không có sẵn 'phẳng' trước, nhưng người ta có thể chọn trước với phương sai rất lớn (độ chính xác nhỏ) mang rất ít thông tin. (d) Để thảo luận thêm về các TCTD Agresti-Coull, các biểu đồ về xác suất bảo hiểm và một số tài liệu tham khảo, có lẽ cũng xem phần Hỏi & Đáp này . $\mathsf{Beta}(.5, .5).$

— BruceET
nguồn

10

Câu trả lời của BruceET là tuyệt vời nhưng khá dài, vì vậy đây là một bản tóm tắt thực tế nhanh chóng:

nếu trước là phẳng, khả năng và sau có hình dạng giống nhau
tuy nhiên, các khoảng không nhất thiết giống nhau, bởi vì chúng được xây dựng theo những cách khác nhau. Một 90% CI Bayesian tiêu chuẩn bao gồm 90% trung tâm của hậu thế. Một CI thường xuyên thường được xác định bằng một so sánh theo quan điểm (xem câu trả lời của BruceET). Đối với tham số vị trí không giới hạn (ví dụ: ước tính giá trị trung bình của phân phối bình thường), sự khác biệt thường nhỏ, nhưng nếu bạn ước tính một tham số giới hạn (ví dụ trung bình nhị thức) gần với ranh giới (0/1), sự khác biệt có thể là đáng kể.
tất nhiên, cách giải thích cũng khác nhau, nhưng tôi diễn giải câu hỏi chủ yếu là "khi nào các giá trị sẽ giống nhau?"

— Florian Hartig
nguồn

9

Mặc dù người ta có thể giải quyết trước một khoảng thời gian đáng tin cậy tương đương với khoảng tin cậy thường xuyên, điều quan trọng là phải nhận ra phạm vi áp dụng hẹp như thế nào. Toàn bộ cuộc thảo luận giả định rằng kích thước mẫu đã được cố định và không phải là một biến ngẫu nhiên. Nó giả định rằng chỉ có một cái nhìn vào dữ liệu và suy luận tuần tự đã không được thực hiện. Nó giả định chỉ có một biến phụ thuộc và không có tham số nào đáng quan tâm. Khi có nhiều bội số, phân kỳ Bayes và tần số thường xuyên (xác suất sau của Bayes ở chế độ dự đoán thời gian tới và không cần xem xét "làm thế nào chúng ta đến đây", do đó không có cách nào hoặc không cần điều chỉnh cho nhiều giao diện). Ngoài ra,

— Frank Mitchell
nguồn

Điều đó có nghĩa là gì trong "chế độ dự đoán thời gian tới" và tại sao chúng ta không cần xem xét lựa chọn hoặc hiệu ứng đa bội?

— badmax

1

Xem này . Hãy nghĩ về việc dự báo người chiến thắng trong một trận bóng đá khi trận đấu diễn ra. Xác suất hiện tại của bạn rằng đội x thắng trò chơi hoàn toàn có thể bỏ qua các dự báo trước đây bạn đã thực hiện. Nhưng nếu hoạt động ở chế độ thường xuyên, bạn phải hình dung tất cả các lần đội của bạn thua trò chơi và xem xét điểm cực trị ở tất cả các điểm trong trò chơi mà bạn có xu hướng dự đoán. Đa số đến từ các cơ hội bạn cung cấp dữ liệu là cực đoan, và yếu tố này chỉ thành các tính toán thường xuyên.

— Frank Harrell

6

Khả năng $\neq$ Bayesian với TV trước

Hàm khả năng và liên quan đến khoảng tin cậy, không giống nhau (khái niệm) như xác suất sau của Bayes được xây dựng với trước đó chỉ định phân phối đồng đều.

Trong phần 1 và 2 của câu trả lời này, người ta tranh luận rằng tại sao khả năng không nên được xem là xác suất hậu nghiệm của Bayes dựa trên căn hộ trước.

Trong phần 3, một ví dụ được đưa ra trong đó khoảng tin cậy và khoảng tin cậy khác nhau. Ngoài ra, nó được chỉ ra làm thế nào sự khác biệt này phát sinh.

1 Hành vi khác nhau khi biến được biến đổi

Xác suất biến đổi theo một cách cụ thể . Nếu chúng ta biết sự phân bố phân bố xác suất $f_x(x)$ sau đó chúng ta cũng biết sự phân bố của $f_\xi(\xi)$ cho biến $\xi$ được xác định bởi bất kỳ chức năng $x=\chi(\xi)$ , theo các quy tắc chuyển đổi:

f_{ξ} (ξ) = f_{x} (χ (ξ)) \frac{d χ}{d ξ} d ξ

$f_\xi(\xi) = f_x(\chi(\xi)) \frac{d\chi}{d\xi} d\xi$

$\bar{x} \neq \chi(\bar{\xi})$ $x_{\max f(x)} \neq \chi(\xi_{\max f(\xi)})$

Hàm khả năng không biến đổi theo cách này . Đây là sự tương phản giữa chức năng khả năng và xác suất sau. Hàm khả năng (tối đa của) vẫn giữ nguyên khi bạn chuyển đổi biến.

L_{ξ} (ξ) = L_{x} (χ (ξ))

$\mathcal{L}_\xi(\xi) = \mathcal{L}_x(\chi(\xi))$

Liên quan:

Các căn hộ trước là mơ hồ . Nó phụ thuộc vào hình thức của thống kê cụ thể.

$X$ $\mathcal{U}(0,1))$ $X^2$

$X$ $X^2$
$a$ $f(a)$
$\begin{array}{ccccc} a_{min} & < & a & < & a_{max} \\ f (a_{min}) & < & f (a) & < & f (a_{max}) \end{array}$ $\begin{array}{ccccc} a_{\min} &<& a &<& a_{\max}\\ f(a_{\min}) &<& f(a) &<& f(a_{\max}) \end{array}$

2 Khái niệm khác nhau: khoảng tin cậy là độc lập với trước

$X$ $\theta$ $\theta$ $\theta$

$\theta$ $x_i$ $X$

$\theta$
Điều này trái ngược với chức năng khả năng và khoảng tin cậy, độc lập với phân phối trước.

Khoảng tin cậy không sử dụng thông tin của trước như khoảng đáng tin cậy (độ tin cậy không phải là xác suất).

$x%$

Trong trường hợp khoảng tin cậy, khái niệm này ( $%$ $x%$

3 Sự khác biệt giữa khoảng tin cậy và khoảng tin cậy

$\lambda$ $\bar{x}$ $n$

L (λ, \bar{x}, n) = \frac{n^{n}}{(n - 1)!} x^{n - 1} λ^{n} e^{- λ n \bar{x}}

$\mathcal{L}(\lambda,\bar{x},n) = \frac{n^n}{(n-1)!} x^{n-1} \lambda^n e^{-\lambda n \bar{x}}$

$n$ $\lambda$ $\bar{x}$ $\bar{x}+dx$

^{$\lambda$ $0$ $\infty$ $0$ $1$ $0$ $1$}

$n=4$

Các ranh giới được tạo ra có được hàm phân phối tích lũy (một chiều). Nhưng, sự tích hợp / tích lũy này có thể được thực hiện theo hai hướng .

Sự khác biệt giữa các khoảng xảy ra bởi vì 5% diện tích được thực hiện theo những cách khác nhau.

$\lambda$ $\bar{x}$ $\lambda$

$\lambda$ $\bar{x}$
$\lambda$ $\bar{x}$

$\bar{x}$ $\lambda$ $\lambda$ $\lambda$

$\bar{x}$ $\lambda$

Một trường hợp trong đó khoảng tin cậy và khoảng tin cậy (dựa trên sự không phù hợp trước đó) là để ước tính giá trị trung bình của biến phân phối Gaussian (phân phối được minh họa ở đây: https://stats.stackexchange.com/a3531333/164061 ).

Một trường hợp rõ ràng trong đó khoảng tin cậy và khoảng tin cậy không trùng khớp được minh họa ở đây ( https://stats.stackexchange.com/a/369909/164061 ). Khoảng tin cậy cho trường hợp này có thể có một hoặc thậm chí cả hai giới hạn (trên / dưới) ở vô cực.

— Sextus Empiricus
nguồn

2

Đừng nói về khoảng tin cậy có chứa tham số thực hay không. Khoảng tin cậy đang đưa ra một tuyên bố xác suất. Và x% cho khoảng tin cậy cần đề cập đến việc nhân rộng nghĩa là gì, nghĩa là 'trường hợp' là gì.

— Frank Harrell

B e t a (.5, .5)

$\mathsf{Beta}(.5, .5)$

Tôi không tin rằng tôi đã nói rằng với một căn hộ trước khả năng là hậu thế, mặc dù đó có thể là trường hợp. Phù hợp với việc viết câu trả lời ở mức độ chuyên môn của OP, tôi đã cố gắng viết đoạn đầu tiên của Câu trả lời của mình một cách cẩn thận. Bạn có tin những gì tôi nói là thực sự sai, hoặc bạn đang nói nó có thể bị hiểu sai?

— BruceET

1

Điều này thường không đúng, nhưng có vẻ như vậy vì các trường hợp đặc biệt được coi là thường xuyên nhất.

$X,Y\sim\operatorname{i.i.d}\sim\operatorname{Uniform}[\theta-1/2,\, \theta+1/2].$ $\big(\min\{X,Y\},\max\{X,Y\}\big)$ $50\%$ $\theta,$ $50\%$

Kỹ thuật điều hòa của Fisher trên một thống kê phụ trợ trong trường hợp này mang lại một khoảng tin cậy trùng với khoảng tin cậy đó.

— Michael Hardy
nguồn

0

Từ việc đọc của tôi, tôi nghĩ rằng tuyên bố này là không có triệu chứng, nghĩa là đối với cỡ mẫu lớn và nếu người ta sử dụng một thông tin không chính xác trước đó.

Một ví dụ số đơn giản dường như đã xác nhận điều này - khoảng khả năng tối đa 90% hồ sơ và khoảng tin cậy 90% của GLM nhị thức ML và GLM nhị thức Bayes thực sự giống hệt nhau n=1000, mặc dù sự khác biệt sẽ trở nên lớn hơn n:

# simulate some data
set.seed(123)
n = 1000                     # sample size
x1 = rnorm(n)                # two continuous covariates 
x2 = rnorm(n)
z = 0.1 + 2*x1 + 3*x2        # predicted values on logit scale
y = rbinom(n,1,plogis(z))    # bernoulli response variable
d = data.frame(y=y, x1=x1, x2=x2)

# fit a regular GLM and calculate 90% confidence intervals
glmfit = glm(y ~ x1 + x2, family = "binomial", data = d)
library(MASS)
# coefficients and 90% profile confidence intervals :
round(cbind(coef(glmfit), confint(glmfit, level=0.9)), 2) 
#                      5 % 95 %
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.77 2.34
# x2            3.42  3.05 3.81

# fit a Bayesian GLM using rstanarm
library(rstanarm)
t_prior = student_t(df = 3, location = 0, scale = 100) # we set scale to large value to specify an uninformative prior
bfit1 = stan_glm(y ~ x1 + x2, data = d, 
                 family = binomial(link = "logit"), 
                 prior = t_prior, prior_intercept = t_prior,  
                 chains = 1, cores = 4, seed = 123, iter = 10000)
# coefficients and 90% credible intervals :
round(cbind(coef(bfit1), posterior_interval(bfit1, prob = 0.9)), 2) 
#                        5%  95%
#   (Intercept) -0.01 -0.18 0.17
# x1             2.06  1.79 2.37
# x2             3.45  3.07 3.85


# fit a Bayesian GLM using brms
library(brms)
priors = c(
  prior(student_t(3, 0, 100), class = "Intercept"),
  prior(student_t(3, 0, 100), class = "b")
)
bfit2 = brm(
  y ~ x1 + x2,
  data = d,
  prior = priors,
  family = "bernoulli",
  seed = 123 
) 
# coefficients and 90% credible intervals :
summary(bfit2, prob=0.9)
# Population-Level Effects: 
#           Estimate Est.Error l-90% CI u-90% CI Eff.Sample Rhat
# Intercept    -0.01      0.11    -0.18     0.18       2595 1.00
# x1            2.06      0.17     1.79     2.35       2492 1.00
# x2            3.45      0.23     3.07     3.83       2594 1.00


# fit a Bayesian GLM using arm
library(arm)
# we set prior.scale to Inf to specify an uninformative prior
bfit3 = bayesglm(y ~ x1 + x2, family = "binomial", data = d, prior.scale = Inf) 
sims = coef(sim(bfit3, n.sims=1000000))
# coefficients and 90% credible intervals :
round(cbind(coef(bfit3), t(apply(sims, 2, function (col) quantile(col,c(.05, .95))))),2)
#                       5%  95%
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.76 2.33
# x2            3.42  3.03 3.80

Như bạn có thể thấy, trong ví dụ trên, trong n=1000khoảng tin cậy hồ sơ 90% của GLM nhị thức gần như giống hệt với khoảng tin cậy 90% của GLM nhị thức Bayes (sự khác biệt cũng nằm trong giới hạn sử dụng các hạt khác nhau và khác nhau số lần lặp trong phù hợp với bayesian, và cũng không thể có được sự tương đương chính xác vì việc chỉ định 100% không chính xác trước cũng không thể thực hiện được với rstanarmhoặc brms).

— Tom Wenseleers
nguồn

Nếu một khoảng tin cậy có trước bằng phẳng, thì khoảng tin cậy 95% có bằng khoảng tin cậy 95% không?

Khả năng ≠≠\neq Bayesian với TV trước

1 Hành vi khác nhau khi biến được biến đổi

2 Khái niệm khác nhau: khoảng tin cậy là độc lập với trước

3 Sự khác biệt giữa khoảng tin cậy và khoảng tin cậy

Khả năng $\neq$ Bayesian với TV trước