Các yếu tố gây ra sự phân phối sau là khó khăn là gì?

Trong thống kê Bayes, người ta thường đề cập rằng phân phối sau có thể điều chỉnh được và do đó phải áp dụng suy luận gần đúng. Các yếu tố gây ra sự hấp dẫn này là gì?

Vấn đề chủ yếu là phân tích Bayes liên quan đến các tích phân , thường là đa chiều trong các vấn đề thực tế và đó là các tích phân thường có thể phân tích được (không có trường hợp đặc biệt nào cần sử dụng các linh mục liên hợp).

Ngược lại, phần lớn số liệu thống kê phi Bayes dựa trên khả năng tối đa - tìm tối đa của hàm (thường là đa chiều), liên quan đến kiến ​​thức về các dẫn xuất của nó , tức là sự khác biệt. Mặc dù các phương pháp số được sử dụng trong nhiều vấn đề phức tạp hơn, nhưng có thể tiếp tục thường xuyên hơn mà không có chúng và các phương pháp số có thể đơn giản hơn (ngay cả khi những phương pháp đơn giản hơn có thể thực hiện tốt hơn trong thực tế).

Vì vậy, tôi muốn nói rằng thực tế là sự khác biệt dễ hiểu hơn sự tích hợp.

Tôi đã có cơ hội để hỏi David Blei câu hỏi này trong người, và anh nói với tôi rằng không thể trị được trong bối cảnh này có nghĩa là một trong hai điều:

1. Tích phân không có giải pháp dạng đóng. Điều này có thể là khi chúng ta mô hình hóa một số dữ liệu thực tế phức tạp và chúng ta đơn giản là không thể viết phân phối ra giấy.

2. Các tích phân là tính toán khó khăn. Anh ấy khuyên tôi nên ngồi xuống với một cây bút và tờ giấy và thực sự tìm ra bằng chứng ngoài lề cho hỗn hợp Gaussian của Bayes. Bạn sẽ thấy rằng nó có thể tính toán được, tức là theo cấp số nhân. Ông đưa ra một ví dụ hay về điều này trong một bài báo gần đây (Xem 2.1 Vấn đề suy luận gần đúng ).

FWIW, tôi thấy sự lựa chọn từ này khó hiểu, vì (1) nó bị quá tải về nghĩa và (2) nó đã được sử dụng rộng rãi trong CS để chỉ nói đến tính hấp dẫn tính toán.

Trên thực tế, có một loạt các khả năng:

1. một biểu thức dạng đóng có sẵn cho hậu thế (ví dụ: , trước : và sau là phân phối ),$Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. phía sau có thể điều chỉnh theo hằng số chuẩn hóa (ví dụ: , trước là và )$Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. quá trình tạo dữ liệu là một cơ chế phức tạp phức tạp đến mức chúng ta không thể viết ra một ví dụ (hoặc nếu chúng ta có thể mất mãi mãi để đánh giá), nhưng chúng ta có thể mô phỏng từ quy trình tạo dữ liệu (ví dụ như một số quy trình cho các thuộc tính nhất định phát triển qua nhiều thế hệ trong một dân số). Để tiếp tục ví dụ từ trên, trong trường hợp này, chúng ta sẽ không có biểu thức dạng đóng cho , nhưng có thể mô phỏng các nhận thức của với giá trị cụ thể của (thậm chí không nói về trường hợp chúng ta có không biết làm thế nào dữ liệu phát sinh ...).$p(y|\pi)$$Y$$\pi$

Mọi người thường có nghĩa là một cái gì đó giống như (2) khi họ nói về một hậu thế không phân tích (phân tích) và một cái gì đó giống như (3) khi họ nói về khả năng không thể chuyển đổi. Đây là trường hợp thứ ba khi tính toán Bayesian gần đúng là một trong các tùy chọn, trong khi trong trường hợp thứ hai, các phương thức MCMC thường khả thi (mà bạn có thể tranh luận theo nghĩa nào đó gần đúng). Tôi không hoàn toàn chắc chắn, trong số hai trích dẫn mà bạn cung cấp đề cập đến.

Độ chính xác có liên quan đến dạng đóng của biểu thức .

Các vấn đề được cho là có thể xử lý được nếu chúng có thể được giải quyết theo biểu thức dạng đóng.

Trong toán học, biểu thức dạng đóng là biểu thức toán học có thể được đánh giá trong một số lượng hữu hạn các phép toán. Nó có thể chứa các hằng số, biến số, các hoạt động "nổi tiếng" nhất định (ví dụ: + - ×) và các hàm (ví dụ: gốc thứ n, số mũ, hàm số logarit, hàm lượng giác và hàm hyperbol nghịch đảo), nhưng thường không giới hạn. Tập hợp các hoạt động và chức năng được thừa nhận trong biểu thức dạng đóng có thể thay đổi theo tác giả và bối cảnh.

Vì vậy, độ hấp dẫn có nghĩa là có một số loại giới hạn / vô hạn liên quan (như tổng vô hạn trong tích phân) không thể được đánh giá trong một số lượng hữu hạn các thao tác và do đó phải sử dụng các kỹ thuật gần đúng (như MCMC).

Bài viết trên Wikipedia chỉ ra luận điểm của Cobham , cố gắng chính thức hóa "số lượng hoạt động" này, và do đó có thể dễ dàng thực hiện.