Tại sao một người nào đó sẽ sử dụng cách tiếp cận Bayes với cách 'không phù hợp' trước đó thay vì cách tiếp cận cổ điển?

Nếu sở thích chỉ đơn thuần là ước tính các tham số của mô hình (ước tính theo điểm và / hoặc khoảng) và thông tin trước đó không đáng tin cậy, yếu, (tôi biết điều này hơi mơ hồ nhưng tôi đang cố gắng thiết lập một kịch bản trong đó lựa chọn của một trước là khó khăn) ... Tại sao một người nào đó chọn sử dụng phương pháp Bayes với các linh mục không phù hợp 'không phù hợp' thay vì phương pháp cổ điển?

Hai lý do người ta có thể đi theo cách tiếp cận Bayes ngay cả khi bạn đang sử dụng các linh mục không có nhiều thông tin:

• Vấn đề hội tụ. Có một số phân phối (nhị thức, nhị thức âm và gamma tổng quát là những phân phối mà tôi quen thuộc nhất) có các vấn đề hội tụ trong một khoảng thời gian không hề nhỏ. Bạn có thể sử dụng khung "Bayes" - và các phương pháp cụ thể của chuỗi Markov Monte Carlo (MCMC), để thực hiện cày qua các vấn đề hội tụ này với sức mạnh tính toán và có được ước tính tốt từ chúng.
• Diễn dịch. Một ước tính Bayes + khoảng tin cậy 95% có cách hiểu trực quan hơn so với ước tính thường xuyên + khoảng tin cậy 95%, vì vậy một số có thể thích báo cáo đơn giản hơn.

Mặc dù kết quả sẽ rất giống nhau, nhưng cách hiểu của họ khác nhau.

Khoảng tin cậy ngụ ý khái niệm lặp lại một thí nghiệm nhiều lần và có thể nắm bắt được thông số thực 95% lần. Nhưng bạn không thể nói rằng bạn có 95% cơ hội nắm bắt nó.

Mặt khác, các khoảng tin cậy (Bayesian) cho phép bạn nói rằng có "95%" cơ hội mà khoảng đó nắm bắt được giá trị thực. Cập nhật: Một cách đặt Bayesian hơn sẽ là bạn có thể tự tin 95% về kết quả của mình.

$P(Data|Hypothesis)$$P(Hypothesis|Data)$

$\pm 2 \sigma$

Cung cấp phân phối đầy đủ cho các tham số là một lợi thế của phương pháp Bayes, phương pháp cổ điển, thường chỉ cung cấp ước tính điểm của các tham số được biểu thị bởi chế độ của hàm khả năng và sử dụng các giả định quy tắc tiệm cận và xấp xỉ bậc hai của hàm khả năng đăng nhập để mô tả sự không chắc chắn. Với khung Bayes, người ta không phải sử dụng bất kỳ phép tính gần đúng nào để đánh giá độ không đảm bảo vì phân phối đầy đủ sau của các tham số có sẵn. Hơn nữa, phân tích Bayes có thể cung cấp các khoảng đáng tin cậy cho các tham số hoặc bất kỳ chức năng nào của các tham số dễ hiểu hơn so với khái niệm khoảng tin cậy trong thống kê cổ điển (Congdon, 2001).

Vì vậy, ví dụ, bạn có thể tính các khoảng tin cậy cho sự khác biệt giữa hai tham số.

Ngài Harold Jeffreys là người ủng hộ mạnh mẽ phương pháp Bayes. Ông đã chỉ ra rằng nếu bạn sử dụng các linh mục không phù hợp khuếch tán, kết quả suy luận Bayes sẽ giống như phương pháp suy luận thường xuyên (nghĩa là các vùng đáng tin cậy của Bayes giống như các khoảng tin cậy thường xuyên). Hầu hết người Bayes ủng hộ các linh mục thông tin thích hợp. Có những vấn đề với các linh mục không phù hợp và một số người có thể lập luận rằng không có ưu tiên nào thực sự không có thông tin. Tôi nghĩ rằng những người Bayes sử dụng những Jeffreys này trước đó sẽ làm điều đó như những người theo Jeffreys. Dennis Lindley , một trong những người ủng hộ mạnh mẽ nhất cho phương pháp Bayes, rất tôn trọng Jeffreys nhưng ủng hộ các linh mục thông tin.

Cách tiếp cận Bayes có lợi thế thực tế. Nó giúp với ước tính, thường là bắt buộc. Và nó cho phép các họ mô hình tiểu thuyết, và giúp xây dựng các mô hình phức tạp hơn (phân cấp, đa cấp).

Ví dụ, với các mô hình hỗn hợp (bao gồm các hiệu ứng ngẫu nhiên với các tham số phương sai), người ta sẽ ước tính tốt hơn nếu các tham số phương sai được ước tính bằng cách đặt lề trên các tham số mức thấp hơn (hệ số mô hình; đây được gọi là REML ). Cách tiếp cận Bayes làm điều này một cách tự nhiên. Với các mô hình này, ngay cả với REML, ước tính khả năng tối đa (ML) của các tham số phương sai thường bằng 0 hoặc sai lệch đi xuống. Một ưu tiên thích hợp cho các tham số phương sai giúp.

Ngay cả khi ước tính điểm ( MAP , tối đa một posteriori) được sử dụng, các linh mục thay đổi họ mô hình. Hồi quy tuyến tính với một tập hợp lớn các biến cộng tuyến có phần không ổn định. Chuẩn hóa L2 được sử dụng như một biện pháp khắc phục, nhưng có thể hiểu là mô hình Bayes với Gaussian (không cung cấp thông tin) trước và ước tính MAP. (Chính quy hóa L1 là một ưu tiên khác nhau và cho kết quả khác nhau. Trên thực tế ở đây, ưu tiên này có thể mang lại nhiều thông tin, nhưng đó là về các thuộc tính tập thể của các tham số, không phải về một tham số duy nhất.)

Vì vậy, có một số mô hình phổ biến và tương đối đơn giản trong đó cần có cách tiếp cận Bayes chỉ để hoàn thành công việc!

Mọi thứ thậm chí còn được ưu ái hơn với các mô hình phức tạp hơn, chẳng hạn như phân bổ Dirichlet tiềm ẩn (LDA) được sử dụng trong học máy. Và một số mô hình vốn dĩ là Bayes, ví dụ, những mô hình dựa trên các quy trình Dirichlet .

$\textit{practical}$$\hat{\theta} = \hat{\theta}(x_1,\dots,x_n)$$\Theta$$f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta)$$f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\hat{\theta})$$\hat{\theta}$

Có một số lý do:

1. $\pm \text{SE}$
2. Các thuộc tính mẫu lớn thường hoàn toàn giống với một số cách tiếp cận thường xuyên tương ứng.
3. Thường có sự miễn cưỡng đáng kể để đồng ý với bất kỳ linh mục nào, bất kể chúng ta thực sự biết bao nhiêu, do sợ bị buộc tội vì không phải là khách quan. Bằng cách sử dụng các linh mục không thông tin (Ngày không có linh mục), người ta có thể giả vờ rằng không có vấn đề như vậy, điều này sẽ tránh được sự chỉ trích từ một số nhà phê bình.

Bây giờ về nhược điểm của việc chỉ sử dụng các linh mục không thông tin, bắt đầu với những gì tôi nghĩ là quan trọng nhất và sau đó hướng đến một số khía cạnh kỹ thuật cũng khá quan trọng:

1. Việc giải thích những gì bạn nhận được là, khá trung thực, giống như đối với suy luận thường xuyên. Bạn không thể chỉ dán nhãn lại khả năng suy luận tối đa thường xuyên của bạn vì suy luận a-posteriori tối đa của Bayesian và cho rằng điều này giúp bạn loại bỏ mọi lo lắng về nhiều so sánh, nhiều lần xem dữ liệu và cho phép bạn diễn giải tất cả các phát biểu theo xác suất của giả thuyết nào đó là đúng. Chắc chắn, lỗi loại I và vân vân là những khái niệm thường xuyên, nhưng chúng ta nên quan tâm đến việc đưa ra những tuyên bố sai lầm và chúng ta biết rằng làm những điều trên gây ra vấn đề. Rất nhiều vấn đề trong số này biến mất (hoặc ít nhất là rất ít vấn đề), nếu bạn nhúng mọi thứ vào mô hình phân cấp / làm một cái gì đó theo kinh nghiệm Bayes, nhưng điều đó thường làm sôi sục việc tạo ra các linh mục ngầm thông qua quy trình phân tích bằng cách bao gồm cơ sở cho trước của bạn trong mô hình của bạn (và một giải pháp thay thế là xây dựng các linh mục một cách rõ ràng). Những cân nhắc này thường bị bỏ qua, theo ý kiến ​​của tôi chủ yếu là tiến hành hack peses (nghĩa là giới thiệu tính đa dạng, nhưng bỏ qua nó) với lý do rằng đây không phải là vấn đề khi bạn sử dụng các phương pháp Bayes (bỏ qua tất cả các điều kiện sẽ xảy ra phải được hoàn thành).
2. Về phía kỹ thuật của nhiều người khác, các linh mục không thông minh là có vấn đề, bởi vì bạn không được đảm bảo một hậu thế thích hợp. Nhiều người đã trang bị các mô hình Bayes với các linh mục không thông tin và không nhận ra rằng hậu thế là không phù hợp. Kết quả là các mẫu MCMC được tạo ra về cơ bản là vô nghĩa.

Điểm cuối cùng là một lập luận cho việc thích các linh mục khá mơ hồ (hoặc hơi yếu thông tin hơn) để đảm bảo một hậu thế thích hợp. Phải thừa nhận rằng, đôi khi cũng có thể khó lấy mẫu từ những thứ này, và có thể khó nhận thấy rằng toàn bộ hậu thế chưa được khám phá. Tuy nhiên, các phương pháp Bayes với các linh mục mơ hồ (nhưng phù hợp) trong nhiều lĩnh vực đã được chứng minh là có các thuộc tính mẫu nhỏ thực sự tốt từ quan điểm thường xuyên và bạn chắc chắn có thể xem đó là một đối số để sử dụng chúng, trong khi với nhiều dữ liệu hơn sẽ khó có bất kỳ sự khác biệt so với các phương pháp với các linh mục không thông tin.