Khi nào (và tại sao) người Bayes từ chối các phương pháp Bayes hợp lệ? [đóng cửa]

Từ những gì tôi đã đọc và từ câu trả lời cho các câu hỏi khác mà tôi đã hỏi ở đây, nhiều phương pháp được gọi là phương pháp thường xuyên tương ứng về mặt toán học ( tôi không quan tâm nếu chúng tương ứng về mặt triết học , tôi chỉ quan tâm liệu nó có tương ứng về mặt toán học hay không) với các trường hợp đặc biệt của cái gọi là Phương pháp Bayes (đối với những người phản đối điều này, hãy xem ghi chú ở dưới cùng của câu hỏi này). Câu trả lời này cho một câu hỏi liên quan (không phải của tôi) ủng hộ kết luận này:

Hầu hết các phương pháp Thường xuyên có tương đương Bayes mà trong hầu hết các trường hợp sẽ cho kết quả cơ bản giống nhau.

Lưu ý rằng trong những gì tiếp theo, về mặt toán học giống nhau có nghĩa là cho kết quả tương tự. Nếu bạn mô tả hai phương pháp có thể được chứng minh là luôn cho kết quả giống như "khác biệt", thì đó là quyền của bạn, nhưng đó là một phán đoán triết học, không phải là toán học hay phương pháp thực tế.

Tuy nhiên, nhiều người tự mô tả là "Bayes" dường như từ chối sử dụng ước tính khả năng tối đa trong mọi trường hợp, mặc dù đó là trường hợp đặc biệt của phương pháp Bayes ( về mặt toán học ), vì đây là "phương pháp thường xuyên". Rõ ràng Bayes cũng sử dụng số lượng phân phối bị hạn chế / giới hạn so với người thường xuyên, mặc dù những phân phối đó cũng sẽ đúng về mặt toán học theo quan điểm của Bayes.

Câu hỏi: Khi nào và tại sao Bayes từ chối các phương pháp đúng về mặt toán học theo quan điểm của Bayes? Có bất cứ lời biện minh nào cho điều này không phải là "triết học" không?

Bối cảnh / Bối cảnh: Sau đây là những trích dẫn từ câu trả lời và nhận xét cho câu hỏi trước đây của tôi trên CrossValidated :

Cơ sở toán học cho cuộc tranh luận Bayesian và thường xuyên là rất đơn giản. Trong thống kê Bayes, tham số chưa biết được coi là một biến ngẫu nhiên; trong thống kê thường xuyên, nó được coi là một yếu tố cố định ...

Từ những điều trên tôi đã kết luận rằng ( về mặt toán học ) các phương pháp Bayes nói chung hơn các phương pháp thường xuyên, theo nghĩa là các mô hình thường xuyên thỏa mãn tất cả các giả định toán học giống như các phương pháp Bayes, nhưng không phải ngược lại. Tuy nhiên, cùng một câu trả lời lập luận rằng kết luận của tôi từ trên là không chính xác (nhấn mạnh vào những gì sau đây là của tôi):

Mặc dù hằng số là trường hợp đặc biệt của một biến ngẫu nhiên, tôi sẽ ngần ngại kết luận rằng chủ nghĩa Bayes nói chung hơn. Bạn sẽ không nhận được kết quả thường xuyên từ những người Bayes chỉ bằng cách thu gọn biến ngẫu nhiên thành một hằng số. Sự khác biệt sâu sắc hơn ...

Đi đến sở thích cá nhân ... Tôi không thích rằng thống kê Bayes sử dụng một tập hợp con bị hạn chế của các bản phân phối có sẵn.

Một người dùng khác, trong câu trả lời của họ, tuyên bố điều ngược lại, rằng phương pháp Bayesian là tổng quát hơn, mặc dù kỳ quặc đủ lý do tốt nhất tôi có thể tìm cho lý do tại sao điều này có thể là trường hợp là trong câu trả lời trước đó, được đưa ra bởi một người được đào tạo như một frequentist.

Hậu quả toán học là những người thường xuyên nghĩ rằng các phương trình cơ bản của xác suất chỉ đôi khi được áp dụng và Bayes nghĩ rằng họ luôn luôn áp dụng. Vì vậy, họ xem các phương trình tương tự là chính xác, nhưng khác nhau về mức độ chung của chúng ... Bayesian hoàn toàn tổng quát hơn so với Thường xuyên. Vì có thể không chắc chắn về bất kỳ thực tế nào, bất kỳ thực tế nào cũng có thể được chỉ định một xác suất. Đặc biệt, nếu các sự kiện bạn đang làm việc có liên quan đến tần số trong thế giới thực (như là điều bạn dự đoán hoặc là một phần của dữ liệu) thì phương pháp Bayes có thể xem xét và sử dụng chúng giống như bất kỳ thực tế nào khác trong thế giới thực. Do đó, bất kỳ vấn đề nào Những người thường xuyên cảm thấy phương pháp của họ áp dụng cho Bayes cũng có thể hoạt động một cách tự nhiên.

Từ các câu trả lời trên, tôi có ấn tượng rằng có ít nhất hai định nghĩa khác nhau về thuật ngữ Bayes thường được sử dụng. Đầu tiên tôi sẽ gọi là "Bayesian về mặt toán học" bao gồm tất cả các phương pháp thống kê, vì nó bao gồm các tham số là RV không đổi và những phương pháp không phải là RV không đổi. Sau đó, có "Bayesian văn hóa" từ chối một số phương pháp "Bayesian về mặt toán học" bởi vì các phương thức đó là "thường xuyên" (nghĩa là ngoài sự thù địch cá nhân với tham số đôi khi được mô hình hóa thành hằng số hoặc tần số). Một câu trả lời khác cho câu hỏi đã nói ở trên dường như cũng hỗ trợ cho phỏng đoán này:

Cũng cần lưu ý rằng có rất nhiều sự phân chia giữa các mô hình được sử dụng bởi hai trại có liên quan nhiều hơn đến những gì đã được thực hiện so với những gì có thể được thực hiện (nghĩa là nhiều mô hình được sử dụng bởi một trại theo truyền thống có thể được chứng minh bởi trại khác ).

Vì vậy, tôi đoán một cách khác để diễn đạt câu hỏi của tôi sẽ là như sau: Tại sao những người Bayes văn hóa tự gọi mình là Bayes nếu họ từ chối nhiều phương pháp toán học Bayes? Và tại sao họ từ chối các phương pháp Bayes toán học này? Có phải đó là sự thù địch cá nhân đối với những người thường xuyên sử dụng các phương pháp cụ thể đó?

$i$đưa ra các giá trị giống nhau cho ước tính, chúng tương đương về mặt toán học , bởi vì chúng có cùng thuộc tính . Có thể sự khác biệt về triết học có liên quan đến cá nhân bạn, nhưng nó không liên quan đến câu hỏi này.

Lưu ý: Câu hỏi này ban đầu có một đặc tính không chính xác của ước tính MLE và ước tính MAP với một bộ đồng phục trước đó.

Tôi muốn sửa một giả định sai lầm trong bài viết gốc, một lỗi tương đối phổ biến. OP nói:

Từ những gì tôi đã đọc và từ câu trả lời cho các câu hỏi khác mà tôi đã hỏi ở đây, ước tính khả năng tối đa tương ứng về mặt toán học (tôi không quan tâm nếu nó tương ứng về mặt triết học, tôi chỉ quan tâm liệu nó có tương ứng về mặt toán học hay không) để tối đa hóa ước lượng trước khi sử dụng đồng phục ( Đối với những người phản đối điều này, hãy xem ghi chú ở dưới cùng của câu hỏi này).

Và ghi chú ở cuối bài viết:

Hai đối tượng tương đương theo nghĩa toán học nếu chúng có cùng thuộc tính, không phân biệt cách chúng được xây dựng. [...]

Phản đối của tôi là, triết học sang một bên, ước tính khả năng tối đa (MLE) và ước tính tối đa a-posteriori (MAP) không có cùng tính chất toán học.

Điều quan trọng, MLE và MAP biến đổi khác nhau theo (không tuyến tính) sắp xếp lại không gian. Điều này xảy ra bởi vì MLE có "ưu tiên phẳng" trong mọi tham số, trong khi MAP không (biến đổi trước là mật độ xác suất , do đó có thuật ngữ Jacobian).

Định nghĩa của một đối tượng toán học bao gồm cách đối tượng hành xử dưới các toán tử, chẳng hạn như biến đổi các biến (ví dụ, xem định nghĩa một tenxơ ).

Tóm lại, MLE và MAP không giống nhau, cả về mặt triết học lẫn toán học; Đây không phải là một ý kiến.

Cá nhân tôi là một "người thực dụng" chứ không phải là "người thường xuyên" hay "người Bayes", vì vậy tôi không thể yêu cầu phát biểu cho bất kỳ trại nào.

Điều đó nói rằng, tôi nghĩ rằng sự khác biệt mà bạn đang ám chỉ có lẽ không quá nhiều MLE so với MAP, nhưng giữa các ước tính điểm so với ước tính các tệp PDF sau . Là một nhà khoa học làm việc trong một lĩnh vực có dữ liệu thưa thớt và sự không chắc chắn lớn, tôi có thể thông cảm với việc không muốn đặt quá nhiều niềm tin vào kết quả "đoán đúng nhất" có thể gây hiểu lầm, dẫn đến sự tự tin thái quá.

Một sự khác biệt thực tế có liên quan là giữa các phương pháp tham số và không tham số . Vì vậy, ví dụ tôi nghĩ rằng cả lọc Kalman và lọc Hạt sẽ được chấp nhận là Ước tính Bayes đệ quy . Nhưng giả định Gaussian của lọc Kalman (một phương pháp tham số) có thể cho kết quả rất sai lệch nếu hậu phương không phải là không chính thống. Đối với tôi những ví dụ kỹ thuật này nêu bật những điểm khác biệt không phải là triết học hay toán học, mà biểu hiện ở khía cạnh kết quả thực tế (tức là xe tự hành của bạn sẽ gặp sự cố?). Đối với những người đam mê Bayes mà tôi quen thuộc, thái độ kiểu kỹ thuật "xem những gì hoạt động" này dường như chiếm ưu thế ... không chắc điều này có đúng hơn không.

Tuy nhiên, nhiều người tự mô tả là "Bayes" dường như từ chối sử dụng ước tính khả năng tối đa trong mọi trường hợp, mặc dù đó là trường hợp đặc biệt của phương pháp Bayes (về mặt toán học), vì đây là "phương pháp thường xuyên".

Những người như vậy sẽ từ chối MLE như một phương pháp chung để ước tính điểm. Trong những trường hợp cụ thể mà họ có lý do để sử dụng đồng phục trước đó và muốn đưa ra ước tính tối đa cho hậu sinh, họ sẽ không cảm thấy phiền lòng vì sự trùng hợp trong tính toán của họ với MLE.

Rõ ràng Bayes cũng sử dụng số lượng phân phối bị hạn chế / giới hạn so với người thường xuyên, mặc dù những phân phối đó cũng sẽ đúng về mặt toán học theo quan điểm của Bayes.

Có lẽ đôi khi, để làm cho tính toán của họ dễ dàng hơn, nhưng không từ bất kỳ điểm nào của nguyên tắc.

Tôi có ấn tượng rằng có ít nhất hai định nghĩa khác nhau về thuật ngữ Bayes thường được sử dụng. Đầu tiên tôi sẽ gọi là "Bayesian về mặt toán học" bao gồm tất cả các phương pháp thống kê, vì nó bao gồm các tham số là RV không đổi và những phương pháp không phải là RV không đổi. Sau đó, có "Bayesian văn hóa" từ chối một số phương pháp "Bayesian về mặt toán học" bởi vì các phương thức đó là "thường xuyên" (nghĩa là ngoài sự thù địch cá nhân với tham số đôi khi được mô hình hóa thành hằng số hoặc tần số).

Chắc chắn có sự phân biệt giữa các cách tiếp cận khác nhau đối với suy luận Bayes, nhưng không phải là cách tiếp cận này. Nếu có một ý nghĩa trong đó chủ nghĩa Bayes nói chung hơn, thì đó là sự sẵn sàng áp dụng khái niệm xác suất cho sự không chắc chắn epistetic về các giá trị tham số & không chỉ là sự không chắc chắn của quá trình tạo dữ liệu mà tất cả những gì mà chủ nghĩa thường gặp phải quan tâm. Suy luận thường xuyên không phải là trường hợp đặc biệt của suy luận Bayes & không có câu trả lời hoặc nhận xét nào tại Có cơ sở toán học nào cho cuộc tranh luận về Bayesian và thường xuyên không?đang ngụ ý rằng nó là. Nếu theo cách tiếp cận Bayes, bạn coi tham số là biến ngẫu nhiên không đổi, thì bạn sẽ nhận được cùng một hậu thế cho dù dữ liệu là gì và nói nó không đổi nhưng bạn không biết giá trị của nó sẽ là gì khi nói đáng nói. Cách tiếp cận thường xuyên có một chiến thuật hoàn toàn khác và không liên quan đến việc tính toán phân phối sau.