Khi phân phối lấy mẫu thường xuyên không thể được hiểu là hậu nghiệm Bayes trong cài đặt hồi quy?

Các câu hỏi thực tế của tôi nằm trong hai đoạn cuối, nhưng để thúc đẩy chúng:

Nếu tôi đang cố ước tính giá trị trung bình của một biến ngẫu nhiên theo phân phối Bình thường với phương sai đã biết, tôi đã đọc rằng đặt đồng phục trước kết quả trung bình trong phân phối sau tỷ lệ thuận với hàm khả năng. Trong những tình huống này, khoảng tin cậy Bayes trùng lặp hoàn toàn với khoảng tin cậy thường xuyên và ước tính tối đa của Bayesian bằng với ước tính khả năng tối đa thường xuyên.

Trong một thiết lập hồi quy tuyến tính đơn giản,

$Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2)$

đặt đồng phục trước và nghịch đảo gamma trước với các giá trị tham số nhỏ dẫn đến hậu quả sẽ rất giống với thường xuyên và khoảng tin cậy cho phân phối sau của sẽ rất giống với khoảng tin cậy xung quanh ước tính khả năng tối đa. Chúng sẽ không hoàn toàn giống nhau bởi vì trước đó sẽ tạo ra một mức độ ảnh hưởng nhỏ và nếu ước tính sau được thực hiện thông qua mô phỏng MCMC sẽ đưa ra một nguồn khác biệt khác, nhưng khoảng tin cậy Bayes xung quanh $\beta$ $\sigma^2$ $\hat\beta^{MAP}$ $\hat\beta^{MLE}$ $\beta|X$ $\sigma^2$ $\hat\beta^{MAP}$ và khoảng tin cậy thường xuyên xung quanh sẽ khá gần nhau và tất nhiên khi kích thước mẫu tăng lên, chúng sẽ hội tụ khi ảnh hưởng của khả năng tăng lên để chiếm ưu thế so với trước. $\hat\beta^{MLE}$

Nhưng tôi đã đọc được rằng cũng có những tình huống hồi quy trong đó những tương đương gần như không giữ được. Ví dụ, hồi quy phân cấp với các hiệu ứng ngẫu nhiên hoặc hồi quy logistic - đây là những tình huống mà theo tôi hiểu, không có mục sư "tốt" hay mục tiêu tham khảo.

Vì vậy, câu hỏi chung của tôi là đây - giả sử rằng tôi muốn suy luận về $P(\beta|X)$ và rằng tôi không có thông tin trước mà tôi muốn kết hợp, tại sao tôi không thể tiến hành ước tính khả năng tối đa thường xuyên trong các tình huống này và giải thích các ước tính hệ số kết quả và sai số chuẩn như ước tính MAP và độ lệch chuẩn, và xử lý ngầm Ước tính "sau" là kết quả của một ưu tiên phải là "không chính xác" mà không cố gắng tìm ra công thức rõ ràng của trước đó sẽ dẫn đến một hậu thế như vậy? Nói chung, trong phạm vi phân tích hồi quy, khi nào thì tiến hành theo các dòng này (đối xử với khả năng như một hậu thế) và khi nào thì không ổn? Điều gì về các phương pháp thường xuyên không dựa trên khả năng, chẳng hạn như các phương pháp gần đúng,

Các câu trả lời có phụ thuộc vào việc mục tiêu suy luận của tôi là ước tính điểm hệ số hay xác suất của một hệ số nằm trong một phạm vi cụ thể hoặc số lượng phân phối dự đoán?

— Yakkanomica
nguồn

Đây là cơ bản là một câu hỏi về -values và khả năng tối đa. Hãy để tôi trích dẫn Cohen (1994) tại đây $p$

Điều chúng tôi muốn biết là "Đưa ra dữ liệu này xác suất là đúng là bao nhiêu?" Nhưng như hầu hết chúng ta đều biết, những gì nó [ -value] nói với chúng ta là "Cho rằng là đúng, xác suất của dữ liệu này (hoặc cực đoan hơn) là gì?" Đây không giống nhau (...) $H_0$ $p$ $H_0$

Vì vậy, -value cho chúng ta biết , trong khi chúng ta quan tâm đến (xem thêm cuộc thảo luận về khung của vs Neyman-Pearson ). $p$ $P(D|H_0)$ $P(H_0|D)$

Hãy quên một chút về giá trị . Xác suất quan sát dữ liệu của chúng tôi được cung cấp một số tham số là hàm khả năng $p$ $\theta$

L (θ | D) = = P (D | θ)

$L(\theta | D) = P(D|\theta)$

đó là một cách nhìn vào suy luận thống kê. Một cách khác là cách tiếp cận Bayes nơi chúng tôi muốn tìm hiểu trực tiếp (chứ không phải gián tiếp) về bằng cách sử dụng định lý Bayes và sử dụng các linh mục cho $P(\theta|D)$ $\theta$

\underset{sau}{\underset{⏟}{P (θ | D)}} α \underset{khả năng}{\underset{⏟}{P (D | θ)}} \times \underset{trước}{\underset{⏟}{P (θ)}}

$\underbrace{P(\theta|D)}_\text{posterior} \propto \underbrace{P(D|\theta)}_\text{likelihood} \times \underbrace{P(\theta)}_\text{prior}$

Bây giờ, nếu bạn nhìn vào bức tranh tổng thể, bạn sẽ thấy giá trị và khả năng trả lời một câu hỏi khác với ước tính Bayes. $p$

Vì vậy, trong khi ước tính khả năng tối đa phải giống như ước tính của MAP Bayesian theo các linh mục thống nhất, bạn phải nhớ rằng họ trả lời một câu hỏi khác.

Cohen, J. (1994). Trái đất tròn (p <0,05). Nhà tâm lý học người Mỹ, 49, 997-1003.

— Tim
nguồn

Cảm ơn bạn đã trả lời @Tim. Tôi nên rõ ràng hơn - Tôi hiểu rằng P (D | H) và P (H | D) nói chung không giống nhau, và những người thường xuyên và Bayes khác nhau về quan điểm liệu có phù hợp để phân phối xác suất cho các tham số ( hoặc giả thuyết chung hơn). Điều tôi đang hỏi là các tình huống trong đó phân phối lấy mẫu (thường xuyên) của một công cụ ước tính sẽ tương đương về mặt số với phân phối sau (Bayesian) của giá trị tham số thực.

— Yakkanomica

Tiếp tục nhận xét trước đây của tôi: Bạn đã viết: "Vì vậy, trong khi ước tính khả năng tối đa sẽ giống như ước tính của MAP Bayesian theo các linh mục thống nhất" - Tôi đang hỏi liệu có tình huống nào mối quan hệ này bị phá vỡ không - cả về mặt của các ước tính điểm và phân phối xung quanh chúng.

— Yakkanomica

Một phụ lục cuối cùng - Một số người sẽ nói rằng ưu điểm chính của phương pháp Bayes là khả năng kết hợp linh hoạt kiến thức trước đó. Đối với tôi, sự hấp dẫn của phương pháp Bayes là trong diễn giải - khả năng gán phân phối xác suất cho một tham số. Cần chỉ định linh mục là một phiền toái. Tôi muốn biết trong những tình huống nào tôi có thể sử dụng các phương pháp thường xuyên nhưng chỉ định một cách giải thích Bayes cho các kết quả bằng cách lập luận rằng các kết quả thường xuyên và Bayes trùng khớp về số dưới các linh mục không hợp lý.

— Yakkanomica

@Yakkanomica Tôi hiểu, đây là một câu hỏi thú vị, nhưng câu trả lời đơn giản (như đã nêu ở trên) là bạn không nên đưa ra những diễn giải như vậy bởi vì các phương pháp thường xuyên nhất trả lời câu hỏi khác với Bayesian. Ước tính điểm ML và MAP nên đồng ý, nhưng khoảng tin cậy và HDI có thể khác nhau và không nên diễn giải lẫn nhau.

— Tim

Nhưng @Tim, có những tình huống trong đó khoảng tin cậy và HDI trùng nhau. Ví dụ, so sánh các ước tính ML trên p.1906 với các ước tính sau của Bayes (dựa trên các mục sư thống nhất về các hệ số và IG trước trên thang đo) trên ví dụ p.1908: PROC GENMOD . Ước tính điểm ML và giới hạn tin cậy 95% rất giống với ước tính trung bình sau của Bayes và khoảng 95% HPD.

— Yakkanomica