Do người Bayes có bao giờ tranh luận rằng có những trường hợp trong đó cách tiếp cận của họ khái quát / chồng chéo với cách tiếp cận thường xuyên?

Do người Bayes có bao giờ lập luận rằng cách tiếp cận của họ khái quát hóa cách tiếp cận thường xuyên, bởi vì người ta có thể sử dụng các linh mục không cung cấp thông tin và do đó, có thể phục hồi cấu trúc mô hình thường xuyên điển hình không?

Bất cứ ai cũng có thể giới thiệu tôi đến một nơi mà tôi có thể đọc về lập luận này, nếu nó thực sự được sử dụng?

EDIT: Câu hỏi này có thể được đặt ra không chính xác theo cách tôi muốn nói. Câu hỏi đặt ra là: "có bất kỳ tài liệu tham khảo nào để thảo luận về các trường hợp trong đó phương pháp Bayes và phương pháp tiếp cận thường xuyên chồng chéo / giao nhau / có điểm chung thông qua việc sử dụng một số trước?" Một ví dụ sẽ sử dụng p ( θ ) = không đúng , nhưng tôi khá chắc chắn đây chỉ là phần nổi của đỉnh băng trôi.$p(\theta) = 1$

Tôi đã thấy hai lập luận nâng cao rằng phân tích Bayes là một khái quát của phân tích thường xuyên. Cả hai đều có phần hơi khó hiểu và khiến mọi người nhận ra những giả định về mô hình hồi quy bằng cách sử dụng các linh mục làm bối cảnh.

Luận điểm 1: Phân tích thường xuyên là phân tích Bayes với một hoàn toàn không chính xác trước tập trung vào số không (vâng, nó không quan trọng ở đâu là trung tâm của nó, nhưng bỏ qua điều đó). Điều này cung cấp cả bối cảnh mà Bayesian có thể trích xuất kết quả phân tích thường xuyên, giải thích lý do tại sao bạn có thể thoát khỏi việc sử dụng một số kỹ thuật "Bayes" như MCMC để trích xuất các ước tính thường xuyên trong các tình huống, khả năng hội tụ tối đa là khó khăn và mọi người nhận ra rằng khi họ nói "Dữ liệu nói cho chính họ" và tương tự, điều họ thực sự nói là trước đó, tất cả các giá trị đều có khả năng như nhau.

Đối số 2: Bất kỳ thuật ngữ hồi quy nào bạn không bao gồm trong một mô hình, về thực tế, đã được gán một mức trung tâm trước bằng 0 mà không có phương sai. Đây không phải là một "phân tích Bayes là một khái quát" nhiều như "Có những linh mục ở khắp mọi nơi , ngay cả trong các mô hình thường xuyên của bạn".

Câu trả lời ngắn gọn là có lẽ là "có - và bạn thậm chí không cần một căn hộ trước khi tranh luận này được giữ vững."

Ví dụ: ước tính Tối đa Posteriori (MAP) là một khái quát về khả năng tối đa bao gồm trước và có các phương pháp tiếp cận thường xuyên tương đương với việc tìm kiếm giá trị này. Người thường xuyên thay đổi "trước" là "ràng buộc" hoặc "phạt" đối với chức năng khả năng và nhận được câu trả lời tương tự. Vì vậy, những người thường xuyên và Bayes đều có thể chỉ ra điều tương tự như ước tính tham số tốt nhất của họ, ngay cả khi các triết lý khác nhau. Phần 5 của bài viết thường xuyên này là một ví dụ trong đó chúng tương đương nhau.

Câu trả lời dài hơn là hơn giống như "có, nhưng thường có những khía cạnh khác của phân tích phân biệt hai cách tiếp cận. Tuy nhiên, ngay cả những sự phân biệt này không nhất thiết phải là sắt trong nhiều trường hợp."

Ví dụ, trong khi người Bay đôi khi sử dụng ước tính MAP (chế độ sau) khi thuận tiện, họ thường nhấn mạnh vào ý nghĩa sau thay thế. Mặt khác, trung bình sau cũng có một tương tự thường xuyên, được gọi là ước tính "đóng gói" (từ "tổng hợp bootstrap") có thể gần như không thể phân biệt được (xem pdf này để biết ví dụ về lập luận này). Vì vậy, đó cũng không thực sự là một sự phân biệt "cứng".

Trong thực tế, tất cả điều này có nghĩa là ngay cả khi một người thường xuyên làm điều gì đó mà Bayes sẽ coi là hoàn toàn bất hợp pháp (hoặc ngược lại), thường có (ít nhất là về nguyên tắc) một cách tiếp cận từ trại khác sẽ đưa ra gần như cùng một câu trả lời.

Ngoại lệ chính là một số mô hình thực sự khó phù hợp với quan điểm thường xuyên, nhưng đó là vấn đề thực tế hơn là triết học.

Edwin Jaynes là một trong những người giỏi nhất trong việc làm nổi bật mối liên hệ giữa suy luận Bayes và suy luận thường xuyên. Khoảng tin cậy trên giấy của anh ấy và khoảng thời gian bayesian (tìm kiếm google đưa nó lên) như một sự so sánh rất kỹ lưỡng - và tôi nghĩ là một sự công bằng.

Ước tính diện tích nhỏ là một lĩnh vực khác mà các câu trả lời ML / REML / EB / HB có xu hướng gần nhau.

Nhiều ý kiến ​​trong số này cho rằng "người thường xuyên" có nghĩa là "ước tính khả năng tối đa". Một số người có một định nghĩa khác: "người thường xuyên" có nghĩa là một loại phân tích các tính chất suy luận dài hạn của bất kỳ phương pháp suy luận nào - cho dù đó là Bayesian, hay phương pháp của thời điểm, hoặc khả năng tối đa, hoặc một cái gì đó nằm trong không xác suất các điều khoản (ví dụ: SVM), v.v.

Tôi muốn nghe từ Stephane hoặc một số chuyên gia Bayes khác về điều này. Tôi sẽ nói không bởi vì đó là một cách tiếp cận khác không phải là khái quát. Trong bối cảnh khác, điều này đã được tranh luận ở đây trước đây. Đừng nghĩ rằng chỉ vì các linh mục phẳng tạo ra kết quả gần với khả năng tối đa rằng một phương pháp Bayes với một căn hộ trước là thường xuyên! Tôi nghĩ rằng đó sẽ là một giả định sai lầm sẽ khiến bạn nghĩ rằng bằng cách đưa ra sự độc đoán trước đó, bạn đang khái quát cho các linh mục có thể khác. Tôi không nghĩ như vậy và tôi chắc chắn rằng hầu hết Bayes cũng không.

Vì vậy, một số người tranh luận nhưng tôi không nghĩ họ nên được phân loại là Bayes

mặc dù Stephane đã chỉ ra những khó khăn với phân loại mạnh mẽ. Vì vậy, nói đúng ra nếu từ này là bao giờ thì tôi đoán nó có thể phụ thuộc vào cách bạn định nghĩa Bayesian.