Nhược điểm của phân tích Bayes là gì?


44

Một số phản đối thực tế đối với việc sử dụng các phương pháp thống kê Bayes trong bất kỳ bối cảnh nào? Không, tôi không có nghĩa là sự quan tâm thông thường về sự lựa chọn trước. Tôi sẽ rất vui mừng nếu điều này không có câu trả lời.


5
Câu hỏi được đóng khung ok, nhưng các ý kiến ​​đang đi thẳng vào dòng tranh luận và đe dọa sẽ tràn sang phía sai của dòng đó. Hãy cẩn thận ... đây không phải là nơi cho cuộc tranh luận như vậy. Tạo một phòng chat nếu bạn muốn làm điều đó.
whuber

Câu trả lời:


40

Tôi sẽ cho bạn một câu trả lời. Bốn nhược điểm thực sự. Lưu ý rằng không ai trong số này thực sự là những phản đối nên thúc đẩy tất cả các cách để phân tích thường xuyên, nhưng có những nhược điểm khi đi với khuôn khổ Bayes:

  1. Lựa chọn trước. Đây là sự chăm sóc thông thường vì một lý do, mặc dù trong trường hợp của tôi, đó không phải là "linh mục chủ quan!" nhưng việc đưa ra một ưu tiên đó là lý do chính đáng và thực sự thể hiện nỗ lực tốt nhất của bạn trong việc tóm tắt một ưu tiên là một công việc tuyệt vời trong nhiều trường hợp. Toàn bộ mục đích của luận án của tôi, ví dụ, có thể được tóm tắt là "linh mục ước tính".
  2. Đó là tính toán chuyên sâu. Đặc biệt là đối với các mô hình liên quan đến nhiều biến. Đối với một tập dữ liệu lớn với nhiều biến được ước tính, rất có thể nó sẽ bị tính toán nghiêm ngặt, đặc biệt là trong một số trường hợp nhất định khi dữ liệu không thể dễ dàng được ném vào một cụm hoặc tương tự. Một số cách để giải quyết vấn đề này, như dữ liệu tăng cường hơn là MCMC, có phần khó khăn về mặt lý thuyết, ít nhất là đối với tôi.
  3. Phân phối sau có phần khó khăn hơn để kết hợp vào phân tích tổng hợp, trừ khi mô tả tham số thường xuyên, phân phối đã được cung cấp.
  4. Tùy thuộc vào tạp chí mà phân tích được dự định, nói chung, việc sử dụng Bayes, hoặc lựa chọn linh mục của bạn, sẽ cho bài viết của bạn nhiều điểm hơn một chút mà người đánh giá có thể đào sâu vào đó. Một số trong số này là những phản đối hợp lý của người đánh giá, nhưng một số chỉ xuất phát từ bản chất của Bayes và cách mọi người quen thuộc trong một số lĩnh vực với nó.

Không ai trong số những điều này nên ngăn cản bạn. Thật vậy, không có điều nào trong số này ngăn cản tôi và hy vọng việc phân tích Bayes sẽ giúp giải quyết ít nhất là số 4.


2
# 1, điều này, lý tưởng nhất, nên được phân tích giai đoạn đầu tiên. Trong nghệ thuật một đánh giá sáng. Trong khoa học một đánh giá sáng định lượng. Bayesian không nên xin lỗi về nó. NẾU freqs tiếp cận dữ liệu như thể họ là Adam và Eva - tốt thôi. Chương 1 của Tiến sĩ của tôi là một phân tích tổng hợp (mặc dù thường xuyên) .Whoopdeedoo. Đó là cách chúng ta nên làm. # 2 Định luật Moore, tôi đã tìm thấy một cuộc thảo luận ngắn gọn và dựa trên XKCD với nhóm Máy tính hiệu suất cao tại địa phương có thể giúp ích rất nhiều. # 3 Meta Phân tích hút một trong hai cách. Nói cách khác, tôi sẽ ủng hộ việc phân tích siêu lớn bắt buộc - cung cấp dữ liệu của bạn khi bạn xuất bản.
rosser

7
@rosser Một vài suy nghĩ. # 1. Thực sự cần phải có một đánh giá sáng, và vâng, đó phải là bước một. Nhưng một phân tích Bayes thích hợp kiểm soát việc gây nhiễu đúng cách cần một đánh giá đầy đủ, định lượng về mọi biến được đưa vào mô hình. Đó không phải là nhiệm vụ nhỏ. # 2. Tùy thuộc vào định luật Moore là một ý tưởng tồi. Đầu tiên, những lợi ích gần đây đã được thực hiện chủ yếu trong các hệ thống đa lõi / GPU. Điều đó cần phần mềm được viết cho nó và các vấn đề thu được từ quá trình xử lý song song. Một mô hình GLM duy nhất được thực hiện với MCMC có thể không phải là điều đó. Tiếp ...
Fomite

6
@rosser và có thể đôi khi HPC không nhất thiết phải là câu trả lời. Ví dụ, tôi làm việc trong các khu vực nơi các thỏa thuận sử dụng dữ liệu và tương tự thường ngăn dữ liệu được lưu trữ trên những thứ bên cạnh các hệ thống cực kỳ an toàn. Các cụm địa phương ... không phải là đó. Và cuối cùng, Định luật Moore chỉ tốt khi ngân sách phần cứng của bạn lớn. Đối với phân tích tổng hợp số 3 và meta, tôi có xu hướng không đồng ý, nhưng ngoài ra, nó vẫn là một vấn đề cho đến khi một hệ thống dữ liệu mở hoàn toàn trở thành chuẩn mực.
Fomite

OK tôi đã nói quá # 3. Nhưng mức độ khác nhau của bạn trước MỌI NGƯỜI YÊU CẦU tạo ra kết quả như thế nào? đau khổ? Liệu một phân tích độ nhạy cho thấy sự khác biệt rất lớn?
rosser

1
@Rosser Nó có thể phụ thuộc vào bản chất của người dự đoán của bạn và mối quan hệ của nó với việc tiếp xúc và kết quả. Nhưng để thực hiện phân tích độ nhạy, ai đó phải có trước cho tất cả các biến đó. Có lẽ tôi sẽ thêm nó như một phần phụ của luận án của tôi. Tôi cũng tìm thấy đồng sức mạnh của Bayes nhưng giả sử các linh mục không thông tin về các biến số trong đó "tôi không thể bận tâm để tìm hiểu" có chút vấn đề.
Fomite

16

Tôi là một người Bayes theo khuynh hướng, nhưng nói chung là một người thường xuyên trong thực tế. Lý do cho điều này thường là việc thực hiện phân tích Bayes đầy đủ đúng cách (chứ không phải là giải pháp MAP) cho các loại vấn đề tôi quan tâm là khó khăn và chuyên sâu về tính toán. Thường thì một phân tích Bayes đầy đủ là cần thiết để thực sự thấy được lợi ích của phương pháp này so với các tương đương thường xuyên.

Đối với tôi, sự đánh đổi về cơ bản là sự lựa chọn giữa các phương pháp Bayes thanh lịch về mặt khái niệm và dễ hiểu, nhưng khó thực hiện trong thực tế và phương pháp thường xuyên, về mặt khái niệm là lúng túng và tinh tế (thử giải thích cách diễn giải một bài kiểm tra giả thuyết một cách chính xác hoặc tại sao không có xác suất 95% rằng giá trị thực nằm trong khoảng tin cậy 95%), nhưng rất phù hợp với các giải pháp "sách dạy nấu ăn" dễ thực hiện.

Ngựa cho các khóa học.


11

Từ một quan điểm hoàn toàn thực tế, tôi không phải là một fan hâm mộ của các phương pháp đó đòi hỏi rất nhiều tính toán (Tôi đang nghĩ đến việc Gibbs sampler và MCMC, thường được sử dụng trong khuôn khổ Bayes, nhưng điều này cũng áp dụng cho ví dụ bootstrap kỹ thuật trong phân tích frequentist). Lý do là bất kỳ loại gỡ lỗi nào (kiểm tra việc thực hiện, nhìn vào sự mạnh mẽ liên quan đến các giả định, v.v. ) đòi hỏi một loạt các mô phỏng Monte Carlo, và bạn nhanh chóng rơi vào tình trạng khó tính. Tôi thích các kỹ thuật phân tích cơ bản là nhanh và xác định, ngay cả khi chúng chỉ là gần đúng.

Tất nhiên, đây là một sự phản đối hoàn toàn thực tế: với các tài nguyên tính toán vô hạn, sự phản đối này sẽ biến mất. Và nó chỉ áp dụng cho một tập hợp con của các phương thức Bayes. Ngoài ra đây là nhiều ưu tiên cho quy trình làm việc của tôi.


1
Cho đến nay tôi đang nghe 1. Định luật Moore, 2. Làm việc chăm chỉ +/- kiên nhẫn và 3. Vô minh. Phải nói không ai trong số này là thuyết phục. Bayes có vẻ như một mô hình quá cong. Ví dụ ... tại sao các nghiên cứu của GWAS không phân tích a-la Bayes. Họ có thể ngăn chặn ném 99,999% dữ liệu đi không?
rosser

1
Ngược lại: MCMC có thể dạy một người viết mã nhanh hơn và học hỏi từ nỗi đau của việc chờ đợi các mô phỏng hoàn thành. Đây là kinh nghiệm của tôi với việc tạo mô hình: nếu mất nhiều thời gian để chạy, tôi có thể được lợi từ việc học cách làm cho mã nhanh hơn.
Lặp đi lặp lại

9

Đôi khi, có một giải pháp "cổ điển" đơn giản và tự nhiên cho một vấn đề, trong trường hợp đó, một phương pháp Bayes ưa thích (đặc biệt là với MCMC) sẽ là quá mức cần thiết.

Hơn nữa, trong các vấn đề loại lựa chọn biến, có thể đơn giản và rõ ràng hơn để xem xét một cái gì đó như khả năng bị phạt; có thể tồn tại một ưu tiên trên các mô hình đưa ra cách tiếp cận Bayes tương đương, nhưng cách trước đó tương ứng với hiệu suất cuối cùng có thể không rõ ràng hơn mối quan hệ giữa hình phạt và hiệu suất.

Cuối cùng, các phương pháp MCMC thường yêu cầu một chuyên gia cả về đánh giá sự hội tụ / pha trộn và để hiểu được kết quả.


9

Tôi còn khá mới đối với các phương pháp Bayes, nhưng có một điều khiến tôi bực mình là, trong khi tôi hiểu lý do của các linh mục (tức là khoa học là một nỗ lực tích lũy, vì vậy đối với hầu hết các câu hỏi, có một số kinh nghiệm / suy nghĩ trước đó nên thông báo cho bạn giải thích dữ liệu), tôi không thích cách tiếp cận Bayes buộc bạn phải đẩy tính chủ quan vào đầu phân tích, đưa ra kết quả cuối cùng. Tôi tin rằng đây là vấn đề vì hai lý do: 1) một số độc giả kém thông thạo thậm chí sẽ không chú ý đến các linh mục, và giải thích kết quả Bayes là không phụ thuộc; 2) trừ khi dữ liệu thô có sẵn, người đọc khó có thể điều chỉnh lại kết quả trong các linh mục chủ quan của riêng họ. Đây là lý do tại sao tôi thích tỷ lệ khả năng,

(Các nhà phê bình sắc sảo sẽ lưu ý rằng ngay cả tỷ lệ khả năng là "phụ thuộc" theo nghĩa là nó phụ thuộc vào tham số hóa của các mô hình được so sánh; tuy nhiên đây là một tính năng được chia sẻ bởi tất cả các phương pháp, Thường xuyên, Bayes và Likabilitiesist)


9
Vấn đề ngược lại với các nhà thống kê thường xuyên là tính chủ quan ở đó, nhưng nó không được đề cập ở tất cả. Vấn đề (thực tế) với tỷ lệ khả năng là chúng dựa trên việc tối ưu hóa khả năng và do đó bỏ qua thực tế là có thể có các giải pháp khác với khả năng chỉ hơi ít. Đó là nơi yếu tố Bayes hữu ích. Nhưng nó luôn luôn là "ngựa cho các khóa học".
Dikran Marsupial

6

Lý thuyết quyết định là lý thuyết cơ bản mà thống kê hoạt động. Vấn đề là tìm một quy trình tốt (trong một số ý nghĩa) để đưa ra quyết định từ dữ liệu. Tuy nhiên, hiếm khi có một sự lựa chọn thủ tục rõ ràng, theo nghĩa giảm thiểu tổn thất dự kiến, do đó, các tiêu chí khác phải được viện dẫn để lựa chọn trong số đó. Chọn các thủ tục Bayes liên quan đến một số ưu tiên là một trong những tiêu chí này, nhưng nó có thể không phải luôn luôn là những gì bạn muốn. Minimax có thể quan trọng hơn trong một số trường hợp, hoặc không thiên vị.

Bất cứ ai khăng khăng rằng những người thường xuyên sai hoặc Bayes hoặc sai chủ yếu là tiết lộ sự thiếu hiểu biết của họ về thống kê.


5

Trong một thời gian, tôi đã muốn giáo dục bản thân nhiều hơn về các cách tiếp cận Bayes để làm người mẫu để vượt qua sự hiểu biết của mình (tôi đã mã hóa các người lấy mẫu Gibbs trong công việc khóa học sau đại học, nhưng chưa bao giờ làm bất cứ điều gì thực sự). Trên đường đi, mặc dù tôi đã nghĩ rằng một số bài báo của Brian Dennis đã gây kích động và ước tôi có thể tìm một người bạn Bayes (những người không có trong tủ quần áo) để đọc các bài báo và nghe phản biện của họ. Vì vậy, đây là những giấy tờ tôi đang đề cập đến, nhưng trích dẫn tôi luôn nhớ là

Trở thành Bayes có nghĩa là không bao giờ phải nói bạn sai.

http://facemony.washington.edu/skalski/groupes/QERM597/ con / Dennis_1996.pdf http://groupes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf


1
Bài báo đầu tiên (chưa đọc lần thứ hai) dường như nói nhiều hơn về cách các vịnh được thực hành so với lý thuyết. Trong các mô hình thực tế không được kiểm tra nghiêm ngặt như bình thường, nhưng trong lý thuyết, thống kê bayes có các phương tiện kiểm tra mô hình vượt trội, được gọi là "bằng chứng" của Jaynes, được thể hiện theo mẫu số P (mô hình D) của quy tắc bay. Với nó, bạn có thể so sánh sự phù hợp của một mô hình, một cái gì đó bạn chỉ có thể làm theo kinh nghiệm trong các số liệu thống kê thường xuyên. Tất nhiên, vấn đề là bằng chứng rất khó tính toán, vì vậy hầu hết mọi người đều bỏ qua nó và nghĩ rằng hậu thế là yếu tố cực kỳ quan trọng (tiếp theo)
cespinoza

2
pt. 2 Hãy thử googling "lấy mẫu lồng nhau" và bạn sẽ tìm thấy một bài báo về phương pháp MCMC để tính toán bằng chứng. (Cũng có các phương pháp kiểm tra mô hình không dựa trên bằng chứng khác: Gelman kiểm tra các mô hình của mình bằng cách lấy mẫu từ dự đoán sau và so sánh (trực quan hoặc cách khác) với dữ liệu thực tế.) Một số người thậm chí còn cho rằng các mô hình nên được tính trung bình bằng cách xem không gian của các mô hình chính nó để ngoài lề. Một điều khác mà chúng ta có thể nhìn thấy trên đường chân trời là các vịnh không theo tỷ lệ, giải quyết vấn đề bằng cách cho phép phạm vi mô hình rộng hơn nhiều so với mô hình tham số truyền thống.
cespinoza

5
Ngoài ra, tôi khuyên bạn nên xem videolectures.net/mlss09uk_jordan_bfway của Michael I. Jordan, một giáo sư tại berde, người khá cân bằng trong quan điểm của mình về Bayes vs Freq. "Chiến tranh". Tôi thực sự không thể nhận xét về nửa sau của bài báo đầu tiên b / c Tôi không biết bất kỳ tài liệu tham khảo sinh thái nào. Tôi sẽ đọc cái thứ hai sau.
cespinoza

1
@cespinoza: Tôi đã suy nghĩ điều này trên đường đi làm. Bài báo nói rằng một Bayes sẽ không bao giờ nhìn vào phần dư (tức là so sánh đầu ra mô hình với dữ liệu thực tế) và có lẽ một Bayesian bình thường có thể tránh điều này trên nguyên tắc, nhưng các học viên như Gelman chắc chắn so sánh đầu ra mô hình (dự báo sau) với dữ liệu thực tế. Tôi không biết đủ để đi xa hơn, nhưng ấn tượng của tôi về các bài báo là họ thiết lập những người đàn ông rơm "về nguyên tắc" để tấn công.
Wayne

1
Chỉ cần thêm rằng một người Bayes không kiểm tra dư là một thống kê xấu. Thông thường, một phương pháp Bayes được sử dụng với mô hình "thô và sẵn sàng" và trước đó. Kiểm tra phần dư là một cách để xem bạn đã có đủ kiến ​​thức về mô hình trước và mô hình chưa. Nó đi đôi với việc kiểm tra các tính năng lý thuyết mà mô hình của bạn và trước đó có
xác suất

5

Các vấn đề mở trong Thống kê Bayes từ bản tin hàng quý của ISBA liệt kê 5 vấn đề với số liệu thống kê bay từ các nhà lãnh đạo khác nhau trong lĩnh vực này, số 1, đủ nhàm chán, "Lựa chọn mô hình và kiểm tra giả thuyết".


3
Tại sao nhàm chán?! Đây là một trong những cách sử dụng phương pháp thống kê thường xuyên nhất.
Tây An
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.