Người Bayes là ai?

Khi một người trở nên quan tâm đến các số liệu thống kê, sự phân đôi "Người thường xuyên" so với "Bayes" sẽ sớm trở nên phổ biến (và ai đã không đọc Tín hiệu và Tiếng ồn của Nate Silver ?). Trong các buổi nói chuyện và các khóa học giới thiệu, quan điểm là cực kỳ thường xuyên ( MLE , giá trị ), nhưng có xu hướng dành một phần rất nhỏ thời gian để chiêm ngưỡng công thức Bayes và chạm vào ý tưởng phân phối trước , thường là tiếp tuyến.$p$

Giọng điệu được sử dụng để thảo luận về thống kê Bayes dao động giữa việc tôn trọng nền tảng khái niệm của nó và một chút hoài nghi về sự chênh lệch giữa các mục tiêu cao cả và sự tùy tiện trong việc lựa chọn phân phối trước, hoặc cuối cùng là sử dụng toán học thường xuyên.

Những câu như "nếu bạn là một Bayesian cốt lõi ..." thì rất nhiều.

Câu hỏi là, những người Bayes ngày nay là ai? Có phải họ là một số tổ chức học thuật mà bạn biết rằng nếu bạn đến đó, bạn sẽ trở thành một người Bayes? Nếu vậy, họ có được tìm kiếm đặc biệt? Có phải chúng ta đang đề cập đến chỉ một vài nhà thống kê và nhà toán học đáng kính, và nếu vậy họ là ai?

Họ thậm chí còn tồn tại như vậy, những "Bayes" thuần túy này? Họ sẽ vui vẻ chấp nhận nhãn hiệu? Có phải nó luôn luôn là một sự phân biệt tâng bốc? Có phải họ là những nhà toán học với những slide đặc biệt trong các cuộc họp, bị tước đi bất kỳ giá trị và khoảng tin cậy nào, dễ dàng được phát hiện trên tập tài liệu?$p$

Bao nhiêu của một ngách là một "Bayes"? Có phải chúng ta đang đề cập đến một thiểu số các nhà thống kê?

Hoặc Bayesian-ism hiện tại được đánh đồng với các ứng dụng học máy?

... Hoặc thậm chí nhiều khả năng, các số liệu thống kê Bayes không phải là một nhánh thống kê, mà là một phong trào nhận thức luận vượt qua phạm vi tính toán xác suất thành một triết lý của khoa học? Về vấn đề này, tất cả các nhà khoa học sẽ là Bayesian trong tim ... nhưng sẽ không có thứ gọi là thống kê thuần túy của Bayes không thấm vào các kỹ thuật thường xuyên (hoặc mâu thuẫn).

Tôi sẽ đưa câu hỏi của bạn theo thứ tự:

Câu hỏi là, những người Bayes ngày nay là ai?

Bất cứ ai thực hiện phân tích dữ liệu Bayes và tự nhận mình là "Bayes". Giống như lập trình viên là người lập trình và tự nhận mình là "lập trình viên". Một sự khác biệt nhỏ là vì lý do lịch sử, Bayesian có ý nghĩa về ý thức hệ, bởi vì cuộc tranh luận thường nóng bỏng giữa những người đề xuất cách giải thích "thường xuyên" về xác suất và người đề xuất cách giải thích "Bayesian" về xác suất.

Có phải họ là một số tổ chức học thuật chọn lọc, nơi bạn biết rằng nếu bạn đến đó, bạn sẽ trở thành một người Bayes?

Không, giống như các phần thống kê khác, bạn chỉ cần một cuốn sách hay (và có lẽ là một giáo viên giỏi).

Nếu vậy, họ có được tìm kiếm đặc biệt?

Phân tích dữ liệu Bayes là một công cụ rất hữu ích khi thực hiện mô hình thống kê, mà tôi tưởng tượng là một kỹ năng khá được tìm kiếm, (ngay cả khi các công ty có lẽ không đặc biệt tìm kiếm "Bayes").

Có phải chúng ta đang đề cập đến chỉ một vài nhà thống kê và nhà toán học đáng kính, và nếu vậy họ là ai?

Có nhiều nhà thống kê đáng kính mà tôi tin rằng họ sẽ gọi mình là người Bayes , nhưng đó không phải là người Bayes.

Họ thậm chí còn tồn tại như vậy, những "Bayes" thuần túy này?

Điều đó hơi giống như hỏi "Những lập trình viên thuần túy này có tồn tại" không? Có một bài viết thú vị được gọi là 46656 Giống Bayes và chắc chắn có một cuộc tranh luận lành mạnh giữa "Bayes" liên quan đến nhiều vấn đề cơ bản. Giống như các lập trình viên có thể tranh luận về giá trị của các kỹ thuật lập trình khác nhau. (BTW, chương trình lập trình thuần túy trong Haskell).

Họ sẽ vui vẻ chấp nhận nhãn hiệu?

Một số làm, một số thì không. Khi tôi phát hiện ra phân tích dữ liệu Bayes, tôi nghĩ rằng đó là thứ tốt nhất kể từ khi bánh mì cắt lát (tôi vẫn làm) và tôi rất vui khi tự gọi mình là "Bayesian" (không nhất thiết là chọc tức những người có giá trị p tại bộ phận của tôi). Ngày nay tôi không thích thuật ngữ này, tôi nghĩ nó có thể khiến mọi người xa lánh vì nó làm cho phân tích dữ liệu Bayes nghe giống như một kiểu sùng bái, mà nó không phải, hơn là một phương pháp hữu ích cần có trong hộp công cụ thống kê của bạn.

Có phải nó luôn luôn là một sự phân biệt tâng bốc?

Không! Theo như tôi biết, thuật ngữ "Bayes" được giới thiệu bởi nhà thống kê nổi tiếng Fisher là một thuật ngữ xúc phạm. Trước đó, nó được gọi là "xác suất nghịch đảo" hoặc chỉ "xác suất".

Có phải họ là những nhà toán học với những slide đặc biệt trong các cuộc họp, bị tước đi bất kỳ giá trị p và khoảng tin cậy nào, dễ dàng được phát hiện trên tập tài liệu?

Chà, có những hội nghị trong thống kê Bayes và tôi không nghĩ chúng bao gồm nhiều giá trị p. Việc bạn có tìm thấy các slide đặc biệt hay không sẽ phụ thuộc vào nền của bạn ...

Bao nhiêu của một ngách là một "Bayes"? Có phải chúng ta đang đề cập đến một thiểu số các nhà thống kê?

Tôi vẫn nghĩ rằng một thiểu số các nhà thống kê đối phó với số liệu thống kê Bayes, nhưng tôi cũng nghĩ rằng tỷ lệ này đang tăng lên.

Hoặc Bayesian-ism hiện tại được đánh đồng với các ứng dụng học máy?

Không, nhưng các mô hình Bayes được sử dụng rất nhiều trong học máy. Dưới đây là một cuốn sách học máy tuyệt vời trình bày về học máy từ quan điểm của người Bayes / theo kiểu sống sót: http://www.cs.ubc.ca/~murphyk/MLbook/

Hy vọng rằng đã trả lời hầu hết các câu hỏi :)

Cập nhật:

[C] nếu bạn vui lòng xem xét thêm một danh sách các kỹ thuật cụ thể hoặc tiền đề phân biệt thống kê Bayes?

Điều khác biệt giữa các thống kê Bayes là việc sử dụng các mô hình Bayes :) Đây là phần của tôi về mô hình Bayes là gì :

Mô hình Bayes là mô hình thống kê trong đó bạn sử dụng xác suất để biểu thị tất cả độ không đảm bảo trong mô hình, cả độ không đảm bảo về đầu ra mà cả độ không đảm bảo về đầu vào (còn gọi là tham số) cho mô hình. Toàn bộ định lý trước / sau / Bayes về điều này, nhưng theo tôi, sử dụng xác suất cho tất cả mọi thứ là điều làm cho Bayesian (và thực sự là một từ tốt hơn có lẽ sẽ giống như mô hình xác suất).

Bây giờ, các mô hình Bayes có thể khó khăn để phù hợp , và có một loạt các kỹ thuật tính toán khác nhau được sử dụng cho việc này. Nhưng những kỹ thuật này không phải là Bayes . Để đặt tên cho một số kỹ thuật tính toán:

• Chuỗi Markov Monte Carlo
  • Thủ đô
  • Lấy mẫu Gibbs
  • Hamiltonian Carlo Carlo
• Bay biến thể
• Tính toán gần đúng Bayes
• Bộ lọc hạt
• Laplace xấp xỉ
• Và cứ thế ...

Ai là nhà thống kê nổi tiếng đã giới thiệu thuật ngữ "Bayesian" là xúc phạm?

Nó được cho là Ronald Fisher. Bài báo Suy luận Bayes trở thành "Bayes" khi nào? đưa ra lịch sử của thuật ngữ "Bayes".

Bayes là những người định nghĩa xác suất như một đại diện bằng số về tính hợp lý của một số mệnh đề. Những người thường xuyên là những người xác định xác suất là đại diện cho tần số chạy dài. Nếu bạn chỉ hài lòng với một hoặc một trong những định nghĩa này thì bạn là người Bayes hoặc người thường xuyên. Nếu bạn hài lòng với một trong hai, và sử dụng định nghĩa phù hợp nhất cho nhiệm vụ trong tay, thì bạn là một nhà thống kê! ; o) Về cơ bản, nó đi sâu vào định nghĩa của một xác suất và tôi hy vọng rằng hầu hết các nhà thống kê làm việc sẽ có thể thấy những lợi ích và bất lợi của cả hai phương pháp.

gợi ý về sự hoài nghi liên quan đến khoảng cách giữa các mục tiêu cao cả và sự tùy tiện trong việc lựa chọn phân phối trước, hoặc cuối cùng sử dụng toán học thường xuyên.

Sự hoài nghi cũng đi theo hướng khác. Chủ nghĩa thường xuyên được phát minh với mục tiêu cao cả là loại bỏ tính chủ quan của suy nghĩ hiện tại về xác suất và thống kê. Tuy nhiên, tính chủ quan vẫn còn đó (ví dụ trong việc xác định mức ý nghĩa phù hợp trong kiểm tra giả thuyết), nhưng nó chỉ không được làm rõ ràng, hoặc thường chỉ bị bỏ qua .

Andrew Gelman , ví dụ, một giáo sư về thống kê và khoa học chính trị tại Đại học Columbia, là một người Bayes nổi bật.

Tôi nghi ngờ hầu hết các đồng nghiệp ISBA có lẽ cũng sẽ coi mình là người Bayes.

Nói chung, các chủ đề nghiên cứu sau đây thường phản ánh một cách tiếp cận Bayes. Nếu bạn đọc các bài báo về họ, có khả năng các tác giả sẽ tự mô tả là "Bayes"

• Chuỗi Markov Monte Carlo
• Phương pháp Bayesian biến đổi (cái tên cho cái đó đi)
• Lọc hạt
• Lập trình xác suất

Ngày nay, tất cả chúng ta đều là người Bayes , nhưng có một thế giới nằm ngoài hai phe này: xác suất thuật toán. Tôi không chắc tài liệu tham khảo tiêu chuẩn về chủ đề này là gì, nhưng có một bài báo hay của Kolmogorov về độ phức tạp thuật toán: AN Kolmogorov, Ba cách tiếp cận định nghĩa về khái niệm Số lượng thông tin của Khăn, Probl. Peredachi Inf., 1965, Tập 1, Số 1, 3 Bóng11. Tôi chắc chắn có một bản dịch tiếng Anh.

Trong bài báo này, ông định nghĩa số lượng thông tin theo ba cách: thuật toán tổ hợp, xác suất và (mới). Kết hợp trực tiếp ánh xạ tới người thường xuyên, Xác suất không tương ứng trực tiếp với Bayesian, nhưng nó tương thích với nó.

CẬP NHẬT: Nếu bạn quan tâm đến triết lý của xác suất thì tôi muốn chỉ ra một tác phẩm rất thú vị " Nguồn gốc và di sản của Grundbegriffe của Kolmogorov"của Glenn Shafer và Vladimir Vovk. Chúng tôi đã quên mọi thứ trước Kolmogorov, và có rất nhiều điều xảy ra trước công việc bán kết của anh ấy. Mặt khác, chúng tôi không biết nhiều về quan điểm triết học của anh ấy. một người thường xuyên, chẳng hạn. Thực tế là anh ta sống ở Liên Xô vào năm 1930, nơi khá nguy hiểm khi dấn thân vào triết học, theo nghĩa đen, bạn có thể gặp rắc rối tồn tại, mà một số nhà khoa học đã làm (kết thúc trong các nhà tù GULAG). , anh ta bị buộc phải ngầm chỉ ra rằng anh ta là một người thường xuyên. Tôi nghĩ rằng trong thực tế anh ta không chỉ là một nhà toán học, mà anh ta còn là một nhà khoa học, và có một cái nhìn phức tạp về khả năng áp dụng lý thuyết xác suất vào thực tế.

Vovk cũng có một bài viết khác về cách tiếp cận thuật toán của Kolmogorov về tính ngẫu nhiên: những đóng góp của Kolmogorov cho các nền tảng của xác suất

Vovk đã tạo ra một cách tiếp cận lý thuyết trò chơi cho xác suất - cũng rất thú vị.

$P(B|E)$$B$$E$$P(E|B)$

CẬP NHẬT 3:

Tôi cũng muốn chỉ ra một cái gì đó trong tác phẩm gốc của Kolmogorov mà thường không được biết đến vì một số lý do (hoặc dễ bị lãng quên) bởi các học viên. Ông đã có một phần về kết nối lý thuyết với thực tế. Cụ thể, ông đặt ra hai điều kiện để sử dụng lý thuyết:

• A. nếu bạn lặp lại thí nghiệm nhiều lần thì tần suất xuất hiện sẽ chỉ khác nhau một chút so với xác suất, thực tế chắc chắn
• B. Nếu xác suất rất nhỏ, thì nếu bạn chỉ tiến hành thử nghiệm một lần thì thực tế bạn có thể chắc chắn rằng sự kiện sẽ không xảy ra

Có nhiều cách hiểu khác nhau về những điều kiện này, nhưng hầu hết mọi người sẽ đồng ý rằng đây không phải là quan điểm của người thường xuyên thuần túy. Kolmogorov tuyên bố rằng ông tuân theo cách tiếp cận của von Mises ở một mức độ nhất định, nhưng dường như ông chỉ ra rằng mọi thứ không đơn giản như nó có thể xuất hiện. Tôi thường nghĩ về điều kiện B, và không thể đi đến kết luận ổn định, nó trông hơi khác mỗi khi tôi nghĩ về nó.

Bayesian "lõi cứng" nhất mà tôi biết là Edwin Jaynes , đã mất năm 1998. Tôi mong đợi Bayesian "lõi cứng" sẽ được tìm thấy trong số các học trò của mình, đặc biệt là đồng tác giả của tác phẩm chính của ông . Logic của khoa học , Larry Bretthorst. Những người Bayes lịch sử đáng chú ý khác bao gồm Harold Jeffreys và Leonard Savage . Mặc dù tôi không có một cái nhìn tổng quan hoàn chỉnh về lĩnh vực này, nhưng ấn tượng của tôi là sự phổ biến gần đây của các phương pháp Bayes (đặc biệt là trong học máy) không phải do niềm tin triết học sâu sắc, mà là vị trí thực dụng mà các phương pháp Bayes đã chứng minh hữu ích ở nhiều người các ứng dụng. Tôi nghĩ điển hình cho vị trí này là Andrew Gelman .

Tôi không biết người Bayes là ai (mặc dù tôi cho rằng tôi nên có phân phối trước cho việc đó), nhưng tôi biết họ không phải là ai.

Để nói về người nổi tiếng, giờ đã rời Bayesian, DV Lindley, "không có ai kém Bayes hơn một người Bayes theo kinh nghiệm". Phần thực nghiệm Bayes của Phương pháp Bayes: Phương pháp tiếp cận khoa học xã hội và hành vi, Ấn bản thứ hai của Jeff Gill . Có nghĩa là tôi cho rằng ngay cả "Những người thường xuyên" nghĩ về mô hình nào có ý nghĩa (sự lựa chọn một hình thức mô hình theo nghĩa nào đó cấu thành trước), trái ngược với những người Bayes theo kinh nghiệm, những người hoàn toàn máy móc về mọi thứ.

Tôi nghĩ rằng trong thực tế không có nhiều sự khác biệt trong kết quả phân tích thống kê được thực hiện bởi những người Bayes và người thường xuyên hàng đầu. Điều đáng sợ là khi bạn thấy một nhà thống kê chất lượng thấp, người cố gắng tự khuôn mẫu một cách cứng nhắc (không bao giờ quan sát nó với phụ nữ) sau mô hình vai trò tư tưởng của mình với sự thuần khiết về ý thức hệ, và phân tích chính xác như anh ta nghĩ, nhưng không có chất lượng tư tưởng và phán đoán mô hình vai trò có. Điều đó có thể dẫn đến phân tích và khuyến nghị rất xấu. Tôi nghĩ rằng lõi siêu cứng, nhưng chất lượng thấp, hệ tư tưởng phổ biến hơn nhiều ở người Bayes so với người thường xuyên. Điều này đặc biệt áp dụng trong Phân tích Quyết định.

Có lẽ tôi đã quá muộn để thảo luận cho bất kỳ ai để ý điều này, nhưng tôi nghĩ thật xấu hổ khi không ai chỉ ra thực tế rằng sự khác biệt quan trọng nhất giữa phương pháp Bayesian và Người thường xuyên là phương pháp sử dụng Bayesian (chủ yếu) tôn trọng nguyên tắc khả năng trong khi những người thường xuyên hầu như không thường xuyên làm như vậy. Nguyên tắc khả năng nói rằng bằng chứng liên quan đến tham số mô hình thống kê quan tâm hoàn toàn được chứa trong hàm khả năng liên quan.

Những người thường xuyên quan tâm đến lý thuyết hoặc triết học thống kê nên quan tâm nhiều hơn bởi các lập luận về tính hợp lệ của nguyên tắc khả năng hơn là về các lập luận về sự phân biệt giữa tần suất và diễn giải niềm tin một phần về xác suất và về tính mong muốn của xác suất trước. Mặc dù có thể có các cách hiểu khác nhau về xác suất cùng tồn tại mà không có xung đột và một số người chọn cung cấp trước mà không yêu cầu người khác làm như vậy, nếu nguyên tắc khả năng là đúng theo nghĩa tích cực hoặc theo quy tắc thì nhiều phương pháp Thường xuyên mất đi yêu sách của họ để lạc quan. Các cuộc tấn công thường xuyên vào nguyên tắc khả năng là kịch liệt vì nguyên tắc đó làm suy yếu thế giới thống kê của họ, nhưng chủ yếu là các cuộc tấn công đó không có dấu hiệu của họ ( http://arxiv.org/abs/1507.08394).

Bạn có thể tin rằng bạn là người Bayes, nhưng có lẽ bạn đã sai ... http://www.rmm-journal.de/doads/Article_Senn.pdf

Bayes lấy được phân phối xác suất của kết quả quan tâm dựa trên niềm tin / thông tin trước. Đối với một người Bayes, bản phân phối này (và các bản tóm tắt của nó) là điều mà hầu hết mọi người sẽ quan tâm. giá trị p) hoặc ước tính khoảng cho tham số quan tâm, 95% trong số đó sẽ chứa giá trị thực nếu bạn có thể thực hiện lấy mẫu lặp lại (khoảng tin cậy).

Các bản phân phối trước của Bayes gây tranh cãi vì chúng là bản trước của BẠN. Không có "chính xác" trước. Hầu hết những người Bayes thực dụng tìm kiếm bằng chứng bên ngoài có thể được sử dụng cho các linh mục và sau đó giảm giá hoặc sửa đổi điều này dựa trên những gì được cho là "hợp lý" cho trường hợp cụ thể. Ví dụ, các linh mục hoài nghi có thể có một "xác suất" về trường hợp không có giá trị - "Dữ liệu cần phải tốt đến mức nào để khiến tôi thay đổi suy nghĩ / thay đổi thực hành hiện tại?" Hầu hết cũng sẽ xem xét sự mạnh mẽ của các suy luận cho các linh mục khác nhau.

Có một nhóm người Bayes nhìn vào các linh mục "tham khảo" cho phép họ xây dựng các suy luận không bị "ảnh hưởng" bởi niềm tin trước đó và vì vậy họ nhận được các tuyên bố xác suất và ước tính khoảng có tính chất "thường xuyên".

Ngoài ra còn có một nhóm "Hardcore Bayesian" có thể ủng hộ việc không chọn một mô hình (tất cả các mô hình đều sai) và họ có thể lập luận rằng phân tích thăm dò chắc chắn sẽ ảnh hưởng đến các linh mục của bạn và vì vậy không nên thực hiện. Có một số ít mà triệt để ...

Trong hầu hết các lĩnh vực thống kê, bạn sẽ tìm thấy các phân tích và học viên Bayes. Cũng như bạn sẽ tìm thấy một số người thích phi thông số ...

Chỉ cần đưa ra câu hỏi cuối cùng của bạn (vì vậy tôi không tham gia giải thưởng!), Về mối liên hệ giữa cách tiếp cận Bayes / Thường xuyên và vị trí nhận thức luận, tác giả thú vị nhất tôi từng gặp là Deborah Mayo. Một điểm khởi đầu tốt là cuộc trao đổi năm 2010 giữa Mayo và Andrew Gelman (người nổi lên ở đây với tư cách là một người Bayes có phần dị giáo). Mayo sau đó đã xuất bản một phản hồi chi tiết cho bài báo Gelman & Shalizi tại đây .

Một tập hợp con của tất cả người Bayes, tức là những người Bayes đã bận tâm gửi email, được liệt kê ở đây .

Tôi sẽ gọi Bruno de Finetti và LJ Savage Bayesians. Họ đã làm việc trên nền tảng triết học của nó.

Để hiểu được cuộc tranh luận nền tảng giữa những người thường xuyên và Bayes, thật khó để tìm được tiếng nói có thẩm quyền hơn Bradley Efron.

Chủ đề này đã là một chủ đề anh ấy đã chạm đến nhiều lần trong sự nghiệp của mình, nhưng cá nhân tôi thấy một trong những bài báo cũ của anh ấy rất hữu ích: Những tranh cãi trong Tổ chức Thống kê (bài này đã giành giải thưởng cho sự xuất sắc).