Sự lãng quên của những người trước đây trong bối cảnh Bayes?

Điều nổi tiếng là khi bạn có nhiều bằng chứng hơn (giả sử dưới dạng lớn hơn cho các ví dụ iid), trước đó Bayes bị "lãng quên" và hầu hết các suy luận đều bị ảnh hưởng bởi bằng chứng (hoặc khả năng). $n$ $n$

Nó rất dễ dàng để nhìn thấy nó cho trường hợp cụ thể khác nhau (chẳng hạn như Bernoulli với Beta trước đây hoặc khác loại ví dụ) - nhưng có một cách để nhìn thấy nó trong trường hợp chung với và một số trước ? $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

EDIT: Tôi đoán nó không thể được hiển thị trong trường hợp chung cho bất kỳ ưu tiên nào (ví dụ: khối lượng điểm trước sẽ giữ cho khối sau một khối lượng điểm). Nhưng có lẽ có những điều kiện nhất định theo đó một ưu tiên bị lãng quên.

Đây là loại "con đường" tôi đang nghĩ về việc hiển thị một cái gì đó như thế:

Giả sử không gian tham số là , và để cho và là hai priors đó đặt xác khối lượng khác không trên tất cả các . Vì vậy, hai phép tính sau cho mỗi số tiền trước đó là: $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) p (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

và

q (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) q (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

Nếu bạn chia cho (hậu thế), thì bạn nhận được: $p$ $q$

p (θ | x_{1}, \dots, x_{n}) / q (θ | x_{1}, \dots, x_{n}) = \frac{p (θ) \int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}{q (θ) \int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

Bây giờ tôi muốn khám phá thuật ngữ trên khi đi đến . Lý tưởng nhất là nó sẽ đi đến cho một số rằng "có ý nghĩa" hoặc một số hành vi khác tốt đẹp, nhưng tôi không thể tìm ra cách để hiển thị bất cứ điều gì ở đó. $n$ $\infty$ $1$ $\theta$

bayesian prior

— bayesianOrFrequentist
nguồn

Đối với một số trực giác, lưu ý rằng khả năng tỷ lệ với kích thước mẫu trong khi trước đó thì không.

— Macro

@Macro, cảm ơn, tôi cũng có trực giác đó, nhưng tôi không thể đẩy nó đi xa hơn. Xem các chỉnh sửa của tôi ở trên.

— bayesianOrFrequentist

Một vài chương đầu tiên trong sách giáo khoa của Ghosh và Ramamoorthi, Bayesian Nonparametrics làm sáng tỏ các loại điều bạn đang nói (lúc đầu trong một thiết lập tham số, sau đó là một thứ không tham số); nó có sẵn thông qua Springer trực tuyến miễn phí nếu bạn đang ở một tổ chức phù hợp. Có nhiều cách để chính thức hóa việc thiếu sự phụ thuộc vào các triệu chứng trước đây, nhưng tất nhiên có một vài điều kiện đều đặn.

— anh chàng

Lưu ý rằng tỷ lệ sau chỉ tỷ lệ với tỷ lệ trước, vì vậy khả năng cũng như tỷ lệ bằng chứng không thực sự ảnh hưởng đến điều này.

— xác suất

Câu trả lời:

Chỉ là một câu trả lời thô bạo, nhưng hy vọng trực quan.

$- \log P (θ | x_{1}, \dots, x_{n}) = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ) - C_{n}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ $C_n>0$ $S_{n} = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
$D>0$ $-\log P(\theta) \leq D$
$S_n$ $D$ $D/S_n$

Bằng chứng nghiêm ngặt tất nhiên phải đối mặt với các kỹ thuật (và chúng có thể rất khó khăn), nhưng cài đặt ở trên là IMHO phần rất cơ bản.

— Pedro A. Ortega
nguồn

Tôi hơi bối rối bởi những gì các tuyên bố "trước được quên" và "hầu hết các suy luận bị ảnh hưởng bởi các bằng chứng" được cho là có nghĩa. Tôi giả sử bạn có nghĩa là khi lượng dữ liệu tăng lên, (trình tự) công cụ ước tính tiếp cận giá trị thực của tham số bất kể trước đó của chúng tôi.

$\theta_0$

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V a r (\hat{θ})}} \overset{p}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

Sự hội tụ không phụ thuộc vào hình thức cụ thể của trước, mà chỉ là phân phối sau thu được từ trước và khả năng đáp ứng các điều kiện đều đặn.

Điều kiện đều đặn quan trọng nhất được đề cập trong Gelman et al là khả năng là một hàm liên tục của tham số và giá trị thực của tham số nằm trong phần bên trong của không gian tham số. Ngoài ra, như bạn đã lưu ý, hậu thế phải là khác không trong một vùng lân cận mở của giá trị thực của giá trị thực của tham số. Thông thường, trước đó của bạn phải là khác không trên toàn bộ không gian tham số.

— xe taxi
nguồn

cảm ơn, rất sâu sắc Tôi đã hy vọng thực sự cho một kết quả thậm chí sẽ không liên quan đến giá trị tham số "thật". Chỉ cần thể hiện rằng về mặt kỹ thuật, khi bạn có nhiều bằng chứng hơn, thì hậu thế bạn sẽ nhận được cũng giống như bất kể trước đó bạn đã bắt đầu với. Tôi sẽ thực hiện một số chỉnh sửa để phản ánh điều đó.

— bayesianOrFrequentist

@bayesianOrFrequentist Hãy xem cái gọi là định lý giới hạn trung tâm Bayes .

— Stéphane Laurent