Mùi đầy đủ Bayesian và vs Bay Bayesian


20

Tôi đã học về thống kê Bayes và tôi thường đọc các bài báo

"chúng tôi áp dụng cách tiếp cận Bayes"

hoặc một cái gì đó tương tự. Tôi cũng nhận thấy, ít thường xuyên hơn:

"chúng tôi áp dụng một cách tiếp cận Bayes hoàn toàn "

(nhấn mạnh của tôi). Có sự khác biệt nào giữa các cách tiếp cận này trong bất kỳ ý nghĩa thực tiễn hoặc lý thuyết nào không? FWIW, tôi đang sử dụng gói MCMCglmmtrong R trong trường hợp có liên quan.


6
Tôi không nghĩ rằng "Bayesian đầy đủ" có một ý nghĩa nghiêm ngặt.
Stéphane Laurent

4
@Stephane Tôi khá chắc chắn rằng Bayesian hoàn toàn giống với Bayes nhưng tính từ hoàn toàn được sử dụng để nhấn mạnh rằng nó không phải là Bayes theo kinh nghiệm.
Michael R. Chernick

1
@Michael điều này có ý nghĩa nhưng tôi vẫn nghĩ rằng ý nghĩa không phải là phổ quát, và nó dường như được xác nhận bởi một số câu trả lời khác nhau cho câu hỏi. Tôi sẽ không ngạc nhiên khi một số người nói "hoàn toàn bay bổng" để nói rằng họ sử dụng một cách chủ quan trước đây và không phải là không phù hợp. Một tình huống khác có thể xảy ra là khi mọi người sử dụng "phân phối dự báo theo chủ nghĩa thường xuyên Bayes" và sau đó chuyển sang một cách tiếp cận thuần túy Bayes.
Stéphane Laurent

@Stephane tôi chấp nhận phán xét của bạn. Tôi nghĩ rằng bạn làm việc trong thống kê Bayes nhiều hơn tôi và vì vậy có lẽ đã nghe người ta sử dụng thuật ngữ này theo nhiều cách khác nhau. Ít nhất câu trả lời của tôi là snesible và một phần đúng.
Michael R. Chernick

@MichaelCécick có, câu trả lời của bạn là một ví dụ về cách tiếp cận giả Bayesian so với cách tiếp cận Bayes thực sự, nhưng có những tình huống khác như vậy
Stéphane Laurent

Câu trả lời:


19

Thuật ngữ "cách tiếp cận Bayes hoàn toàn" không có gì khác ngoài cách để chỉ ra rằng người ta chuyển từ cách tiếp cận Bayes "một phần" sang cách tiếp cận Bayes "thật", tùy thuộc vào ngữ cảnh. Hoặc để phân biệt cách tiếp cận "giả giả Bayes" với cách tiếp cận "nghiêm túc" của Bayes.

Ví dụ, một tác giả viết: "Không giống như phần lớn các tác giả khác quan tâm đến việc sử dụng phương pháp Empirical Bayes cho RVM, chúng tôi áp dụng cách tiếp cận Bayes hoàn toàn" beacuse phương pháp Bayes theo kinh nghiệm là cách tiếp cận "giả giả Bayesian". Có những cách tiếp cận giả khác Bayes, chẳng hạn như phân phối dự báo thường xuyên Bayes (một phân phối có lượng tử phù hợp với giới hạn của các khoảng dự đoán thường xuyên).

Trong trang này, một số gói R cho suy luận Bayes được trình bày. MCMCglmm được trình bày dưới dạng "cách tiếp cận Bayes hoàn toàn" vì người dùng phải chọn phân phối trước, trái với các gói khác.

Một ý nghĩa khả dĩ khác của "Bayesian hoàn toàn" là khi người ta thực hiện suy luận Bayes xuất phát từ khung lý thuyết quyết định Bayes, nghĩa là xuất phát từ hàm mất, bởi vì lý thuyết quyết định Bayes là khuôn khổ nền tảng vững chắc cho suy luận Bayes.


Cảm ơn vì điều này. cảm ơn bạn, vì vậy gói MCMCglmm"Full Bayes" không liên quan gì đến việc sử dụng MCMC để lấy ước tính và nó vẫn hoàn toàn là Bayes nếu tôi phải chỉ định trước, từ đó có thể tìm thấy phân tích sau? Tôi xin lỗi nếu câu hỏi của tôi không có ý nghĩa - Tôi vẫn là người mới bắt đầu, nhưng tôi đang cố gắng học!
Joe King

1
MCMC chỉ là một kỹ thuật hữu ích để mô phỏng các phân phối sau trong thống kê Bayes. Nhưng nó không có gì để làm với chính cách tiếp cận Bayes.
Stéphane Laurent

13

Tôi nghĩ thuật ngữ này được sử dụng để phân biệt giữa phương pháp Bayes và phương pháp Bayes theo kinh nghiệm. Full Bayes sử dụng một ưu tiên được chỉ định trong khi Bayes theo kinh nghiệm cho phép ước tính trước thông qua việc sử dụng dữ liệu.


Cảm ơn bạn ! Tôi cũng đã thấy "Bayes theo kinh nghiệm" được đề cập ở đây và ở đó, nhưng nó không bao giờ bị cắt xén trong những điều tôi đã đọc, đến mức tôi phải suy nghĩ nghiêm túc về ý nghĩa của nó. Tôi chỉ nhìn vào trang wikipedia nói rằng nó còn được gọi là "khả năng cận biên tối đa" và "gần đúng với cách xử lý Bayes hoàn toàn của mô hình Bayes phân cấp". Hmmm, thành thật mà nói tôi không hiểu nhiều về những gì trên trang đó :(
Joe King

@JoeKing Có rất nhiều cách sử dụng thú vị và quan trọng của phương pháp Bayes theo kinh nghiệm. Ý tưởng quay trở lại với Herbert Robbins vào những năm 1960. Vào những năm 1970, Efron và Morris đã chỉ ra rằng công cụ ước tính James-Stein về trung bình bình thường đa biến và các công cụ ước tính co rút tương tự khác là Bayes theo kinh nghiệm. Trong cuốn sách mới về Suy luận quy mô lớn, Brad Efron chỉ ra cách các phương pháp Bayes theo kinh nghiệm có thể được sử dụng cho các vấn đề đôi khi được gọi là p nhỏ p vì nhiều giả thuyết về các tham số được kiểm tra với kích thước mẫu tương đối nhỏ (ví dụ p có thể lớn hơn rất nhiều ). Điều này đến với microarrays.
Michael R. Chernick

1
Cám ơn bạn một lần nữa. Tôi phải thừa nhận rằng tôi không hiểu tất cả những gì bạn vừa viết nhưng tôi sẽ sử dụng nó làm điểm khởi đầu để nghiên cứu thêm về vấn đề này.
Joe King

9

"Bayesian" thực sự có nghĩa là "Bayesian gần đúng".

"Bayesian đầy đủ" cũng có nghĩa là "Bayesian gần đúng", nhưng với ít gần đúng hơn.

Chỉnh sửa : Làm rõ.

p(θData)p(Dataθ)p(θ).
θ

Cảm ơn bạn. Tôi đọc ở đây rằng MCMCglmmgói tôi đang sử dụng là Full Bayesian. Đó có phải là vì nó đang sử dụng MCMC cùng với trước cho các tham số không?
Joe King

@Arek Tôi thực sự không bị thuyết phục. Vì vậy, khi tôi sử dụng một liên hợp tiêu chuẩn trước tôi có "nhiều hơn" Bayesian không? Và tại sao bạn cho rằng một ước tính điểm ít "chính xác" hơn so với mô phỏng sau?
Stéphane Laurent

1
@ StéphaneLaurent Tôi không cho rằng ước tính điểm luôn kém chính xác. Đâu là ý kiến ​​của ngày hôm qua cho câu trả lời của tôi?
Arek Paterek

1
@ArekPaterek Câu trả lời ngắn của bạn trông giống như một trò đùa và vì vậy những nhận xét không áp dụng cho câu trả lời sửa đổi của bạn không áp dụng cho câu trả lời được sửa đổi. Vì vậy, dự đoán của tôi là một người điều hành có thể loại bỏ chúng. Vẫn gọi đầy đủ Bayesian gần đúng là khó hiểu.
Michael R. Chernick

1
Có lẽ bình luận không xóa đầu tiên của tôi không rõ ràng. Nếu câu trả lời của Arek là đúng, thì chúng ta nên gọi tình huống như thế nào khi có thể có phân phối chính xác sau (chẳng hạn như một tình huống liên hợp đơn giản trước đó)? Một cách tiếp cận Bayes "đầy đủ hơn"?
Stéphane Laurent

8

Tôi sẽ sử dụng "Bayesian đầy đủ" để có nghĩa là bất kỳ tham số sắc thái nào đã bị gạt ra khỏi phân tích, thay vì tối ưu hóa (ví dụ: ước tính MAP). Ví dụ, một mô hình quy trình Gaussian, với các tham số siêu được điều chỉnh để tối đa hóa khả năng cận biên sẽ là Bayesian, nhưng chỉ một phần là như vậy, trong khi nếu các tham số siêu định nghĩa hàm hiệp phương sai được tích hợp bằng cách sử dụng siêu trước, thì đó hoàn toàn là Bayesian .


4
Đây có vẻ là câu trả lời chung chung hơn một chút. Càng nhiều số lượng bị thiệt thòi hơn là tối ưu hóa thì giải pháp 'Bayesian' càng đầy đủ. Empirical Bayes là một trường hợp đặc biệt.
liên hợp

Vâng, đó chỉ là một phần mở rộng nhỏ trên câu trả lời của Michaels; về cơ bản tối ưu hóa về cơ bản là không-Bayes.
Dikran Marsupial

3

Như một ví dụ thực tế:

Tôi làm một số mô hình Bayes sử dụng splines. Một vấn đề phổ biến với splines là lựa chọn nút. Một khả năng phổ biến là sử dụng sơ đồ Reversible Jump Markov Chain Monte Carlo (RJMCMC) trong đó người ta đề xuất thêm, xóa hoặc di chuyển một nút thắt trong mỗi lần lặp. Các hệ số cho các spline là ước tính Least Square.

Nút thắt miễn phí

Theo tôi, điều này làm cho nó chỉ là 'một phần Bayes' bởi vì các linh mục tiếp cận 'hoàn toàn Bayes' sẽ cần phải được đặt trên các hệ số này (và các hệ số mới được đề xuất trong mỗi lần lặp), nhưng sau đó các ước tính Least Squares không hoạt động cho RJMCMC kế hoạch, và mọi thứ trở nên khó khăn hơn nhiều.


(+1) Tôi không hiểu tình huống của bạn nhưng dường như đó là tình huống của cách tiếp cận giả Bayes
Stéphane Laurent

1

Tôi sẽ thêm một đặc tính chưa được đề cập cho đến nay. Một cách tiếp cận đầy đủ của Bayes "hoàn toàn" truyền bá sự không chắc chắn trong tất cả các đại lượng chưa biết thông qua định lý Bayes. Mặt khác, các phương pháp tiếp cận Pseudo-Bayes như Bayes theo kinh nghiệm không truyền bá tất cả những điều không chắc chắn. Ví dụ, khi ước tính các đại lượng dự báo sau, một cách tiếp cận Bayes hoàn toàn sẽ sử dụng mật độ sau của các tham số mô hình chưa biết để có được phân phối dự báo cho tham số đích. Một cách tiếp cận EB sẽ không tính đến độ không đảm bảo trong tất cả các ẩn số - ví dụ: một số tham số siêu có thể được đặt thành các giá trị cụ thể, do đó đánh giá thấp độ không đảm bảo chung.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.