Trong những điều kiện nào làm Bayesian và ước lượng điểm thường xuyên trùng nhau?

Với một căn hộ trước, các công cụ ước tính ML (thường xuyên - khả năng tối đa) và MAP (Bayesian - tối đa một posteriori) trùng khớp.

Tuy nhiên, nhìn chung hơn, tôi đang nói về các công cụ ước tính điểm được coi là tối ưu hóa của một số chức năng mất. I E

(Bayesian)  x

Trong đó là toán tử kỳ vọng, là hàm mất (tối thiểu hóa bằng 0), là công cụ ước tính, được đưa ra dữ liệu , của tham số và các biến ngẫu nhiên được biểu thị bằng chữ in hoa . L x ( y ) y $\mathbb{E}$$L$$\hat x(y)$$y$$x$

Có ai biết bất kỳ điều kiện nào trên , pdf của và , áp đặt tuyến tính và / hoặc không thiên vị, nơi các công cụ ước tính sẽ trùng khớp?x $L$$x$$y$

Biên tập

Như đã lưu ý trong các bình luận, một yêu cầu vô tư như không thiên vị được yêu cầu để làm cho vấn đề Thường xuyên có ý nghĩa. Linh mục phẳng cũng có thể là một phổ biến.

Bên cạnh các cuộc thảo luận chung được cung cấp bởi một số câu trả lời, câu hỏi thực sự cũng là về việc cung cấp các ví dụ thực tế . Tôi nghĩ rằng một trong những quan trọng đến từ hồi quy tuyến tính:

• OLS, là BLUE ( định lý Gauss-Markov ), tức là nó giảm thiểu MSE thường xuyên trong số các công cụ ước tính không thiên vị tuyến tính.$\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$
• if là Gaussian và trước là phẳng, là "hậu tố" có nghĩa là giảm thiểu tổn thất trung bình Bayes cho bất kỳ hàm mất lồi nào.x = ( D ' D ) - 1 D ' $(X,Y)$$\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$

Ở đây, dường như được gọi là ma trận dữ liệu / thiết kế trong biệt ngữ thường xuyên / Bayesian, tương ứng.$\mathbf{D}$

Câu hỏi thú vị nhưng có phần vô vọng trừ khi khái niệm người ước lượng thường xuyên được đưa ra chính xác. Đây chắc chắn không phải là bộ được đặt trong câu hỏi kể từ khi câu trả lời cho giảm thiểu là cho tất cả 's như đã chỉ ra trong câu trả lời của Lập trình viên . Vấn đề cơ bản là không có công cụ ước lượng thường xuyên duy nhất cho một vấn đề ước tính, mà không đưa ra các ràng buộc bổ sung hoặc các lớp của công cụ ước tính. Không có những thứ đó, tất cả những người ước tính Bayes cũng là những người ước tính thường xuyên.x ( y ) = x

Như đã chỉ ra trong các ý kiến, tính không thiên vị có thể là một hạn chế như vậy, trong trường hợp đó, các công cụ ước tính Bayes bị loại trừ. Nhưng khái niệm thường xuyên này đụng độ với các khái niệm thường xuyên khác như

1. sự chấp nhận, vì hiện tượng James-Stein đã chứng minh rằng các công cụ ước tính không thiên vị có thể không được chấp nhận (tùy thuộc vào chức năng mất và vào khía cạnh của vấn đề);
2. bất biến dưới sự xác định lại, vì tính không thiên vị không theo các biến đổi.

Cộng với tính không thiên vị chỉ áp dụng cho một lớp hạn chế các vấn đề ước tính. Bằng cách này, tôi có nghĩa là lớp các công cụ ước tính không thiên vị của một tham số nhất định hoặc của một biến đổi hầu hết thời gian trống.h ( θ $\theta$$h(\theta)$

Nói về sự chấp nhận, một khái niệm thường xuyên khác, tồn tại các cài đặt mà các công cụ ước tính duy nhất được chấp nhận là các công cụ ước tính Bayes và ngược lại. Kiểu cài đặt này liên quan đến các định lý lớp hoàn chỉnh được thiết lập bởi Abraham Wald trong những năm 1950. (Điều tương tự cũng áp dụng cho các công cụ ước tính bất biến tốt nhất là Bayes theo thước đo Haar bên phải thích hợp.)

Nói chung, các công cụ ước tính thường xuyên và Bayes không trùng nhau, trừ khi bạn sử dụng một căn hộ thoái hóa trước đó. Lý do chính là đây: Những người ước tính thường xuyên thường cố gắng không thiên vị. Ví dụ, những người thường xuyên thường cố gắng tìm công cụ ước lượng không thiên vị tối thiểu ( http://en.wikipedia.org/wiki/Minimum-variance_unbiased_estimator ). Trong khi đó, tất cả các công cụ ước tính Bayes không suy biến đều bị sai lệch (theo nghĩa sai lệch thường xuyên). Xem, ví dụ: http://www.stat.washington.edu/~hoff/cifts/581/LectureNotes/bayes.pdf , Định lý 5.

Tóm lại: Hầu hết các công cụ ước tính thường xuyên phổ biến đều cố gắng không thiên vị, trong khi tất cả các công cụ ước tính Bayes đều thiên vị. Do đó, Bayes và người ước lượng thường xuyên hiếm khi trùng khớp.

$\text{argmin}$$\hat x(y)$$y$

$x$$x$$f(x,\hat x)=E(L(x-\hat x(Y))|x)$$x$$x$$f(x, \hat x)$$\hat x$$\hat x = x$

Có thể tồn tại không có câu trả lời cho câu hỏi này.

Một giải pháp thay thế có thể là yêu cầu các phương pháp xác định hai ước tính một cách hiệu quả cho bất kỳ vấn đề nào. Các phương pháp Bayes khá gần với lý tưởng này. Tuy nhiên, mặc dù các phương pháp minimax có thể được sử dụng để xác định ước tính điểm thường xuyên, nói chung, việc áp dụng phương pháp minimax vẫn còn khó khăn và có xu hướng không được sử dụng trong thực tế.

Một cách khác là đặt lại câu hỏi cho các điều kiện theo đó các công cụ ước tính Bayesian và người thường xuyên cung cấp kết quả nhất quán và cố gắng xác định các phương pháp để tính toán hiệu quả các công cụ ước tính đó. Ở đây "nhất quán" được dùng để ám chỉ rằng các công cụ ước lượng Bayes và người thường xuyên bắt nguồn từ một lý thuyết chung và rằng cùng một tiêu chí tối ưu được sử dụng cho cả hai công cụ ước tính. Điều này rất khác với việc cố gắng chống lại các số liệu thống kê của Bayes và người thường xuyên, và có thể khiến câu hỏi trên trở nên thừa thãi. Một cách tiếp cận khả thi là nhắm, cả cho trường hợp thường xuyên và trường hợp Bayes, tại các bộ quyết định giảm thiểu tổn thất cho một kích thước nhất định, như được đề xuất bởi

Schafer, Chad M và Philip B Stark. "Xây dựng vùng tin cậy có kích thước dự kiến ​​tối ưu." Tạp chí của Hiệp hội Thống kê Hoa Kỳ 104.487 (2009): 1080-1089.

Nó chỉ ra rằng điều này là có thể - cả cho trường hợp thường xuyên và trường hợp Bayes - bằng cách bao gồm các quan sát ưu tiên và các tham số với thông tin lẫn nhau theo chiều lớn. Các bộ quyết định sẽ không giống nhau, vì câu hỏi đang được hỏi là khác nhau:

• Không phụ thuộc vào tham số thực sự là gì, hạn chế rủi ro đưa ra quyết định sai (quan điểm thường xuyên)
• Đưa ra một số quan sát, hạn chế rủi ro bao gồm các tham số sai vào tập hợp quyết định (chế độ xem Bayes)

Tuy nhiên, các bộ sẽ chồng chéo lên nhau và trở nên giống hệt nhau trong một số tình huống, nếu các linh mục phẳng được sử dụng. Ý tưởng được thảo luận chi tiết hơn cùng với việc áp dụng hiệu quả trong

Bartels, Christian (2015): Sự tự tin chung và nhất quán và các khu vực đáng tin cậy. vả https://doi.org/10.6084/m9.figshare.1528163

Đối với các linh mục thông tin, các bộ quyết định đi chệch nhiều hơn (như thường được biết đến và được chỉ ra trong câu hỏi và trong các câu trả lời ở trên). Tuy nhiên, trong khuôn khổ nhất quán, người ta có được các bài kiểm tra thường xuyên, đảm bảo phạm vi bảo hiểm thường xuyên mong muốn, nhưng có tính đến kiến ​​thức trước.

Bartels, Christian (2017): Sử dụng kiến ​​thức trước trong các bài kiểm tra thường xuyên. vả https://doi.org/10.6084/m9.figshare.4819597

Các phương pháp được đề xuất vẫn thiếu một triển khai hiệu quả của lề.