Cuộc tranh luận thường xuyên-Bayes đi đâu?

Thế giới thống kê được phân chia giữa những người thường xuyên và Bayes. Những ngày này dường như tất cả mọi người làm một chút của cả hai. Làm sao có thể? Nếu các cách tiếp cận khác nhau phù hợp cho các vấn đề khác nhau, tại sao những người sáng lập thống kê lại không thấy điều này? Ngoài ra, các cuộc tranh luận đã được chiến thắng bởi những người thường xuyên và những người Bayes chủ quan thực sự chuyển sang lý thuyết quyết định?

Tôi thực sự không đồng ý với tiền đề. Mọi người đều là người Bayes, nếu họ thực sự có phân phối xác suất được trao cho họ như trước. Rắc rối xảy ra khi họ không làm như vậy và tôi nghĩ vẫn còn một sự phân chia khá lớn về chủ đề đó.

Mặc dù vậy, tôi đã đồng ý rằng ngày càng có nhiều người ít có khuynh hướng chiến đấu với các cuộc chiến tranh thần thánh và tiếp tục làm những gì có vẻ phù hợp trong bất kỳ tình huống nào.

Tôi sẽ nói rằng, khi nghề nghiệp phát triển, cả hai bên đều nhận ra rằng có những ưu điểm trong các cách tiếp cận khác. Bayes nhận ra rằng việc đánh giá các thủ tục Bayes sẽ làm tốt như thế nào nếu được sử dụng nhiều lần (ví dụ, khoảng tin cậy 95% này có thực sự chứa tham số thực sự khoảng 95% không?) Yêu cầu phải có triển vọng thường xuyên. Không có điều này, sẽ không có sự hiệu chỉnh nào về "95%" đó cho bất kỳ số nào trong thế giới thực. Mạnh mẽ? Xây dựng mô hình thông qua lắp lặp, vv? Những ý tưởng xuất hiện trong thế giới thường xuyên, và được người Bayes thích nghi bắt đầu từ cuối những năm 1980 hoặc lâu hơn. Những người thường xuyên nhận ra rằng chính quy hóa là tốt, và sử dụng nó khá phổ biến trong những ngày này - và các linh mục Bayes có thể dễ dàng được hiểu là chính quy hóa. Mô hình hóa không đối xứng thông qua các khối vuông với chức năng phạt? Hình phạt của bạn là trước của tôi! Bây giờ tất cả chúng ta có thể hòa hợp.

Ảnh hưởng lớn khác, tôi tin, là sự cải thiện đáng kinh ngạc về tính sẵn có của phần mềm chất lượng cao sẽ cho phép bạn phân tích nhanh chóng. Điều này có hai phần - thuật toán, ví dụ, lấy mẫu Gibbs và Metropolis-Hastings, và bản thân phần mềm, R, SAS, ... Tôi có thể giống một Bayesian thuần túy hơn nếu tôi phải viết tất cả mã của mình bằng C (Đơn giản là tôi sẽ không có thời gian để thử bất cứ điều gì khác), nhưng vì vậy, tôi sẽ sử dụng gam trong gói mgcv trong R bất cứ khi nào mô hình của tôi trông giống như tôi có thể phù hợp với khung đó mà không cần ép quá nhiều, và tôi một thống kê tốt hơn cho nó. Làm quen với các phương pháp của đối thủ và nhận ra nó có thể tiết kiệm được bao nhiêu nỗ lực / chất lượng tốt hơn để sử dụng chúng trong một số trường hợp, mặc dù chúng có thể không phù hợp 100% với khung mặc định của bạn để suy nghĩ về một vấn đề,

Đây là một câu hỏi khó trả lời. Số lượng người thực sự làm cả hai vẫn còn rất hạn chế. Bayesian lõi cứng coi thường những người sử dụng số liệu thống kê chính cho việc sử dụng giá trị , một thống kê không thống nhất, không nhất quán trong nội bộ cho Bayes; và các nhà thống kê chính thống chỉ không biết phương pháp Bayes đủ tốt để bình luận về chúng. Theo hướng này, bạn sẽ thấy rất nhiều lời chỉ trích về thử nghiệm ý nghĩa giả thuyết null trong văn học Bayes (bao gồm các tạp chí tâm lý học thuần túy hoặc tâm lý học thuần túy), mà không có phản hồi nào từ các nhà chính thống.$p$

Có những biểu hiện mâu thuẫn như "ai thắng cuộc tranh luận" trong nghề thống kê. Một mặt, thành phần của một bộ phận thống kê trung bình là ở hầu hết các nơi, bạn sẽ tìm thấy 10-15 người chính thống so với 1-2 người Bayes, mặc dù một số bộ phận hoàn toàn là Bayesian, không có nhà cung cấp chính thống nào, ngoại trừ có thể cho các vị trí tư vấn (Harvard, Duke, Carnegie Mellon, British Columbia, Montreal ở Bắc Mỹ; Tôi ít quen thuộc với bối cảnh châu Âu). Mặt khác, bạn sẽ thấy rằng trong các tạp chí như JASA hay JRSS, có lẽ 25-30% giấy tờ là Bayesian. Theo một cách nào đó, sự phục hưng của Bayes có thể giống như sự bùng nổ của các bài báo ANOVA trong những năm 1950: hồi đó, mọi người nghĩ rằng khá nhiều vấn đề thống kê có thể được đóng khung như một vấn đề ANOVA; ngay bây giờ,

Cảm giác của tôi là các khu vực ứng dụng không bận tâm tìm ra các chi tiết triết học, và chỉ cần đi với bất cứ điều gì dễ dàng hơn để làm việc với. Phương pháp Bayes quá phức tạp: trên hết các số liệu thống kê, bạn cũng cần học nghệ thuật tính toán (thiết lập bộ lấy mẫu, chặn, chẩn đoán hội tụ, blah-blah-blah) và sẵn sàng bảo vệ các linh mục của bạn (bạn nên sử dụng linh mục khách quan, hoặc bạn nên sử dụng linh mục thông tin nếu trường đã giải quyết khá nhiều về tốc độ ánh sáng là 3e8 m / s, hoặc thậm chí liệu sự lựa chọn trước có ảnh hưởng đến việc hậu thế của bạn có phù hợp hay không). Vì vậy, trong hầu hết các ứng dụng y tế hoặc tâm lý học hoặc kinh tế, bạn sẽ thấy các cách tiếp cận chủ đạo trong các bài báo được viết bởi các nhà nghiên cứu thực chất,

Một lĩnh vực mà theo tôi, khuôn khổ Bayes vẫn còn thiếu là chẩn đoán mô hình - và đó là một lĩnh vực quan trọng đối với các học viên. Trong thế giới Bayes, để chẩn đoán một mô hình, bạn cần xây dựng một mô hình phức tạp hơn và chọn bất kỳ mô hình nào phù hợp hơn với yếu tố Bayes hoặc BIC. Vì vậy, nếu bạn không thích giả định quy tắc cho hồi quy tuyến tính của mình, bạn có thể xây dựng hồi quy với các lỗi Sinh viên và để dữ liệu tạo ước tính về mức độ tự do hoặc bạn có thể trở nên ưa thích và có quy trình Dirichlet cho điều khoản lỗi và thực hiện một số bước nhảy MH giữa các mô hình khác nhau. Cách tiếp cận chủ đạo sẽ là xây dựng một lô QQ gồm các phần dư được học sinh và loại bỏ các ngoại lệ, và điều này, một lần nữa, lại đơn giản hơn nhiều.

Tôi đã chỉnh sửa một chương trong một cuốn sách về điều này - xem http: // onlinel Library.wiley.com/doi/10.1002/9780470583333.ch5/summary . Đó là một bài viết rất hay, trong đó đã đưa ra khoảng 80 tài liệu tham khảo về cuộc tranh luận này, tất cả đều ủng hộ quan điểm của Bayes. (Tôi đã yêu cầu tác giả mở rộng nó trong một phiên bản sửa đổi, trong đó nói rất nhiều về nó :)). Jim Berger từ Duke, một trong những nhà lý thuyết hàng đầu của Bayes, đã đưa ra một số bài giảng, và đã viết một số bài viết rất chu đáo về chủ đề này.

Có một lý do chính đáng để vẫn có cả hai, đó là một thợ thủ công giỏi sẽ muốn chọn công cụ tốt nhất cho nhiệm vụ trong tay, và cả phương pháp Bayesian và thường xuyên đều có ứng dụng trong đó chúng là công cụ tốt nhất cho công việc.

Tuy nhiên, thường sử dụng công cụ sai cho công việc vì các số liệu thống kê thường xuyên phù hợp với phương pháp "sách nấu ăn thống kê" giúp họ dễ dàng áp dụng vào khoa học và kỹ thuật hơn so với các đối tác Bayes của họ, mặc dù các phương pháp Bayes cung cấp câu trả lời trực tiếp hơn câu hỏi được đặt ra (thường là những gì chúng ta có thể suy ra từ mẫu dữ liệu cụ thể mà chúng ta thực sự có). Tôi không ủng hộ điều này lắm vì cách tiếp cận "sách dạy nấu ăn" dẫn đến việc sử dụng số liệu thống kê mà không có sự hiểu biết vững chắc về những gì bạn đang làm, đó là lý do tại sao những điều như ngụy biện giá trị p lặp đi lặp lại.

Tuy nhiên, khi thời gian trôi qua, các công cụ phần mềm cho phương pháp Bayes sẽ được cải thiện và chúng sẽ được sử dụng thường xuyên hơn như jbowman nói đúng.

Tôi là một người Bayes theo khuynh hướng (dường như nó có ý nghĩa với tôi hơn nhiều so với cách tiếp cận thường xuyên), tuy nhiên tôi kết thúc bằng cách sử dụng số liệu thống kê thường xuyên trong các bài báo của mình, một phần vì tôi sẽ gặp rắc rối với những người đánh giá nếu tôi sử dụng số liệu thống kê của Bayes sẽ là "không chuẩn".

Cuối cùng (hơi tặc lưỡi; o), để trích dẫn Max Plank "Một sự thật khoa học mới không chiến thắng bằng cách thuyết phục đối thủ và khiến họ nhìn thấy ánh sáng, mà là vì đối thủ của nó cuối cùng đã chết, và một thế hệ mới lớn lên quen thuộc với nó."

Tôi không nghĩ rằng những người thường xuyên và Bayes đưa ra những câu trả lời khác nhau cho cùng một câu hỏi. Tôi nghĩ rằng họ đã chuẩn bị để trả lời các câu hỏi khác nhau . Do đó, tôi không nghĩ sẽ hợp lý khi nói nhiều về chiến thắng một bên, hoặc thậm chí nói về sự thỏa hiệp.

Hãy xem xét tất cả các câu hỏi mà chúng tôi có thể muốn hỏi. Nhiều câu hỏi không thể xảy ra ("Giá trị thực sự của gì?"). Sẽ hữu ích hơn khi xem xét tập hợp con của những câu hỏi có thể được trả lời với các giả định khác nhau. Tập hợp con lớn hơn là những câu hỏi có thể được trả lời khi bạn cho phép bản thân sử dụng linh mục. Gọi bộ này là BF. Có một tập hợp con BF, là tập hợp các câu hỏi không phụ thuộc vào bất kỳ câu hỏi nào trước đó. Gọi tập con thứ hai này F. F là tập con của BF. Xác định B = BF \ B.$\theta$

Tuy nhiên, chúng tôi không thể chọn câu hỏi nào để trả lời. Để đưa ra những suy luận hữu ích về thế giới, đôi khi chúng ta phải trả lời các câu hỏi trong B và điều đó có nghĩa là sử dụng trước.

Lý tưởng nhất, đưa ra một công cụ ước tính, bạn sẽ làm một phân tích kỹ lưỡng. Bạn có thể sử dụng một ưu tiên, nhưng cũng sẽ rất tuyệt nếu bạn có thể chứng minh những điều tốt đẹp về công cụ ước tính của mình mà không phụ thuộc vào bất kỳ ưu tiên nào. Điều đó không có nghĩa là bạn có thể bỏ qua trước, có thể những câu hỏi thực sự thú vị cần có trước.

Mọi người đều đồng ý về cách trả lời các câu hỏi trong F. Điều lo lắng là liệu những câu hỏi thực sự 'thú vị' là ở F hay B?

Một ví dụ: một bệnh nhân bước vào bác sĩ và khỏe mạnh (H) hoặc ốm (S). Có một bài kiểm tra mà chúng tôi chạy, sẽ trả về dương (+) hoặc âm (-). Bài kiểm tra không bao giờ cho kết quả âm tính giả - tức là . Nhưng đôi khi nó sẽ cho kết quả dương tính giả -$\mathcal{P}(-|S) = 0$$\mathcal{P}(+|H) = 0.05$

Chúng tôi có một mảnh thẻ và máy kiểm tra sẽ ghi + hoặc - trên một mặt của thẻ. Hãy tưởng tượng, nếu bạn muốn, rằng chúng ta có một nhà tiên tri bằng cách nào đó biết được sự thật và nhà tiên tri này viết trạng thái thực sự, H hoặc S, ở phía bên kia của thẻ trước khi đặt thẻ vào một phong bì.

Là bác sĩ được đào tạo thống kê, chúng ta có thể nói gì về thẻ trong envolope trước khi chúng ta mở thẻ? Các tuyên bố sau có thể được thực hiện (chúng nằm trong F ở trên):

• Nếu S ở một mặt của thẻ thì mặt kia sẽ là +. $\mathcal{P}(+|S) = 1$
• Nếu H, thì phía bên kia sẽ là + với xác suất 5%, - với xác suất 95%. $\mathcal{P}(-|H) = 0.95$
• (tóm tắt hai điểm cuối cùng) Xác suất mà hai bên trận đấu là ít nhất 95%. $\mathcal{P}( (-,S) \cup (+,H) ) \geq 0.95$

Chúng tôi không biết hoặc là gì. Chúng tôi thực sự không thể trả lời rằng không có một số loại trước cho . Nhưng chúng ta có thể đưa ra tuyên bố về tổng của hai xác suất đó.$\mathcal{P}( (-,S) )$$\mathcal{P}( (+,H) )$$\mathcal{P}(S)$

Điều này là xa như chúng ta có thể đi rất xa. Trước khi mở phong bì , chúng tôi có thể đưa ra những tuyên bố rất tích cực về tính chính xác của bài kiểm tra. Có (ít nhất) 95% xác suất rằng kết quả kiểm tra phù hợp với sự thật.

Nhưng điều gì xảy ra khi chúng ta thực sự mở thẻ? Cho rằng kết quả xét nghiệm là dương tính (hoặc âm tính), chúng ta có thể nói gì về việc họ khỏe mạnh hay ốm yếu?

Nếu thử nghiệm là dương tính (+), chúng tôi không thể nói gì. Có lẽ họ khỏe mạnh, và có thể không. Tùy thuộc vào mức độ phổ biến hiện tại của bệnh ( ), có thể xảy ra trường hợp hầu hết bệnh nhân có kết quả xét nghiệm dương tính đều khỏe mạnh hoặc có thể là trường hợp hầu hết bị bệnh. Chúng ta không thể đặt bất kỳ giới hạn nào cho việc này, mà trước tiên không cho phép bản thân đặt một số giới hạn cho .$\mathcal{P}(S)$$\mathcal{P}(S)$

Trong ví dụ đơn giản này, rõ ràng mọi người có kết quả xét nghiệm âm tính đều khỏe mạnh. Không có tiêu cực sai, và do đó mọi nhà thống kê sẽ vui vẻ gửi bệnh nhân đó về nhà. Do đó, thật vô nghĩa khi trả tiền cho lời khuyên của một nhà thống kê trừ khi kết quả xét nghiệm có kết quả dương tính .

Ba điểm đạn ở trên là chính xác, và khá đơn giản. Nhưng họ cũng vô dụng! Câu hỏi thực sự thú vị, trong mô hình được thừa nhận này, là:

và điều này không thể được trả lời mà không có (tức là trước hoặc ít nhất là một số giới hạn ở trước)$\mathcal{P}(S)$

Tôi không phủ nhận đây có lẽ là một mô hình đơn giản hóa, nhưng nó chứng minh rằng nếu chúng ta muốn đưa ra những tuyên bố hữu ích về sức khỏe của những bệnh nhân đó, chúng ta phải bắt đầu từ niềm tin về sức khỏe của họ.

Như bạn sẽ thấy, có khá nhiều cuộc tranh luận thường xuyên về Bayes đang diễn ra. Trên thực tế, tôi nghĩ nó nóng hơn bao giờ hết và ít giáo điều. Bạn có thể quan tâm đến blog của tôi: http://errorstatistic.com

Nhiều người (bên ngoài các chuyên gia chuyên gia) nghĩ rằng họ là người thường xuyên trong thực tế là Bayes. Điều này làm cho cuộc tranh luận một chút vô nghĩa. Tôi nghĩ rằng chủ nghĩa Bayes đã chiến thắng, nhưng vẫn còn nhiều người Bayes nghĩ rằng họ là người thường xuyên. Có một số người nghĩ rằng họ không sử dụng linh mục và do đó họ nghĩ rằng họ là người thường xuyên. Đây là logic nguy hiểm. Đây không phải là quá nhiều về các linh mục (linh mục đồng phục hoặc không đồng phục), sự khác biệt thực sự là tinh tế hơn.

. nhà thống kê.)

MLE thực sự là một phương pháp Bayes. Một số người sẽ nói "Tôi là người thường xuyên vì tôi sử dụng MLE để ước tính các tham số của mình". Tôi đã thấy điều này trong văn học đánh giá ngang hàng. Điều này là vô nghĩa và dựa trên huyền thoại (không trả lời, nhưng ngụ ý) rằng một người thường xuyên là người sử dụng đồng phục trước thay vì không đồng phục trước).

Xem xét vẽ một số duy nhất từ ​​một phân phối bình thường với giá trị trung bình đã biết, và phương sai chưa biết. Gọi phương sai này .$\mu = 0$$\theta$

$X \equiv N(\mu = 0, \sigma^2 = \theta)$

Bây giờ hãy xem xét chức năng khả năng. Hàm này có hai tham số, và và nó trả về xác suất, được cho là , của .$x$$\theta$$\theta$$x$

$f(x,\theta) = \mathrm{P}_{\sigma^2=\theta} (X=x) = \frac{1}{\sqrt{2\pi \theta}} e^{-\frac{x^2}{2\theta}}$

Bạn có thể tưởng tượng vẽ sơ đồ này trong bản đồ nhiệt, với trên trục x và trên trục y và sử dụng màu (hoặc trục z). Đây là cốt truyện, với các đường viền và màu sắc.$x$$\theta$

Đầu tiên, một vài quan sát. Nếu bạn sửa trên một giá trị duy nhất của , thì bạn có thể lấy lát cắt ngang tương ứng thông qua sơ đồ nhiệt. Phần này sẽ cung cấp cho bạn bản pdf cho giá trị đó của . Rõ ràng, khu vực dưới đường cong trong lát cắt đó sẽ là 1. Mặt khác, nếu bạn sửa trên một giá trị duy nhất của , và sau đó nhìn vào lát cắt dọc tương ứng , thì không có gì đảm bảo như vậy về khu vực dưới đường cong .$\theta$$\theta$$x$

Sự khác biệt giữa các lát cắt ngang và dọc là rất quan trọng và tôi thấy sự tương tự này đã giúp tôi hiểu được cách tiếp cận thường xuyên đối với sự thiên vị .

Một người Bayes là người nói

Đối với giá trị này của x, giá trị nào của cho giá trị 'đủ cao' của ?.$\theta$$f(x,\theta)$

Ngoài ra, một Bayes có thể bao gồm một trước, , nhưng họ vẫn đang nói về$g(\theta)$

đối với giá trị này của x, giá trị nào của cho giá trị đủ cao của ?$\theta$$f(x,\theta)g(\theta)$

Vì vậy, một Bayes sửa lỗi x và nhìn vào lát dọc tương ứng trong biểu đồ đường viền đó (hoặc trong biểu đồ biến thể kết hợp trước đó). Trong lát này, diện tích dưới đường cong không cần là 1 (như tôi đã nói trước đó). Khoảng tin cậy (CI) 95% của Bayes là khoảng chứa 95% diện tích khả dụng. Ví dụ: nếu diện tích là 2, thì diện tích theo CI Bayes phải là 1,9.

Mặt khác, một người thường xuyên sẽ bỏ qua x và trước tiên hãy xem xét sửa và sẽ hỏi:$\theta$

Đối với , giá trị nào của x sẽ xuất hiện thường xuyên nhất?$\theta$

Trong ví dụ này, với , một câu trả lời cho câu hỏi thường gặp này là: "Đối với một , 95% sẽ xuất hiện trong khoảng và . "$\mathcal{N}(\mu=0, \sigma^2 = \theta)$$\theta$$x$$-3\sqrt\theta$$+3\sqrt\theta$

Vì vậy, một người thường xuyên quan tâm nhiều hơn đến các đường ngang tương ứng với các giá trị cố định của .$\theta$

Đây không phải là cách duy nhất để xây dựng CI thường xuyên, nó thậm chí không phải là một cách tốt (hẹp), nhưng hãy chịu đựng tôi trong giây lát.

Cách tốt nhất để diễn giải từ 'khoảng' không phải là một khoảng trên dòng 1-d, mà nghĩ về nó như một khu vực trên mặt phẳng 2-trên. 'Khoảng' là tập con của mặt phẳng 2 chiều, không thuộc bất kỳ dòng 1-d nào. Nếu ai đó đề xuất một 'khoảng' như vậy, thì chúng ta phải kiểm tra xem 'khoảng' có giá trị ở mức độ tin cậy / độ tin cậy 95%.

Một người thường xuyên sẽ kiểm tra tính hợp lệ của 'khoảng' này bằng cách xem xét lần lượt từng lát cắt ngang và nhìn vào khu vực dưới đường cong. Như tôi đã nói trước đây, khu vực dưới đường cong này sẽ luôn là một. Yêu cầu quan trọng là khu vực trong 'khoảng' ít nhất là 0,95.

Một Bayes sẽ kiểm tra tính hợp lệ bằng cách thay vào đó nhìn vào các lát cắt dọc. Một lần nữa, khu vực dưới đường cong sẽ được so sánh với vùng ngầm dưới khoảng đó. Nếu cái sau ít nhất là 95% của cái trước, thì 'khoảng' là khoảng tin cậy 95% Bayes hợp lệ.

Bây giờ chúng ta đã biết cách kiểm tra xem một khoảng cụ thể có "hợp lệ" hay không, câu hỏi đặt ra là làm thế nào để chúng ta chọn tùy chọn tốt nhất trong số các tùy chọn hợp lệ. Đây có thể là một nghệ thuật đen, nhưng nhìn chung bạn muốn khoảng cách hẹp nhất. Cả hai cách tiếp cận đều có xu hướng đồng ý ở đây - các lát cắt dọc được xem xét và mục tiêu là làm cho khoảng cách càng hẹp càng tốt trong mỗi lát cắt dọc.

Tôi đã không cố gắng xác định khoảng tin cậy thường xuyên hẹp nhất có thể trong ví dụ trên. Xem các bình luận của @cardinal bên dưới để biết ví dụ về các khoảng hẹp hơn. Mục tiêu của tôi không phải là tìm ra các khoảng tốt nhất, mà là để nhấn mạnh sự khác biệt giữa các lát cắt ngang và dọc trong việc xác định tính hợp lệ. Một khoảng thỏa mãn các điều kiện của khoảng tin cậy thường xuyên 95% thường sẽ không thỏa mãn các điều kiện của khoảng tin cậy 95% Bayes và ngược lại.

Cả hai cách tiếp cận đều mong muốn các khoảng hẹp, tức là khi xem xét một lát cắt dọc, chúng tôi muốn làm cho khoảng (1-d) trong lát đó càng hẹp càng tốt. Sự khác biệt nằm ở cách 95% được thi hành - một người thường xuyên sẽ chỉ nhìn vào các khoảng thời gian được đề xuất trong đó 95% diện tích của mỗi lát cắt nằm dưới khoảng đó, trong khi Bayesian sẽ nhấn mạnh rằng mỗi lát cắt dọc có tỷ lệ 95% diện tích của nó theo khoảng

Nhiều người không thống kê không hiểu điều này và họ chỉ tập trung vào các lát cắt dọc; điều này làm cho họ Bayes ngay cả khi họ nghĩ khác.