Không liên hợp trước

Ai đó có thể giải thích tại sao tích phân trong mật độ sau có thể không "dễ phân tích" nếu trước đó chúng ta chọn là không liên hợp?

Sự kết hợp là tốt bởi vì điều đó có nghĩa là nếu bạn có thể xử lý pdf trước, bạn sẽ có thể làm điều tương tự với người sau (vì chúng có cùng hình thức) - nhưng tất nhiên đôi khi bạn muốn có trước đó không liên hợp.

Làm thế nào để tính linh hoạt của tích phân xuất hiện trong một tính toán Bayes thực tế?

Hãy tưởng tượng chúng ta muốn đưa ra một số suy luận về một tham số :$\theta$

$p(\theta|\mathbf x) \propto p(\mathbf x|\theta)\cdot p(\theta)$

trong đó thuật ngữ đầu tiên bên phải là khả năng và thuật ngữ thứ hai là trước. Vấn đề cơ bản là đánh giá hằng số tỷ lệ cần thiết để có được mật độ bên phải; và sau đó bạn có thể muốn có thể làm nhiều việc khác nhau với nó (ví dụ: vẽ nó, tìm số liệu thống kê tóm tắt - ý nghĩa của nó, hoặc chế độ của nó, hoặc một số lượng tử; thậm chí có thể lấy mẫu từ nó). Dù sao, việc có thể tìm thấy tích phân đó theo một cách nào đó sẽ hữu ích, và có lẽ điều tự nhiên và rõ ràng nhất phải làm là cố gắng tìm ra "đại số" - nghĩa là sử dụng túi thủ thuật thông thường để đánh giá các tích phân.

Thông thường, những gì chúng ta thực sự có nghĩa là khó hiểu là "phân tích khó hiểu", nhưng đôi khi nó được sử dụng một cách lỏng lẻo hơn một chút. Theo một cách hiểu nào đó, "hầu hết" các tích phân là không thể tìm thấy, đối với các giá trị khác nhau của ' không thể tách rời ' (cuộn xuống phần thảo luận về các tích phân).

Thí dụ

Như Zen chỉ ra ví dụ rất đơn giản về mô hình nhị thức, không có gì đảm bảo bạn có thể thực hiện việc tích hợp cho hậu thế trên tham số theo đại số.

Đây là một ví dụ khác (phiên bản đơn giản hóa của một cái gì đó tôi đã thấy xuất hiện):

Hãy xem xét một Bayesian sau cho phương sai, của một phân phối chuẩn với trung bình biết μ . Liên hợp trước là gamma nghịch đảo, nhưng điều gì sẽ xảy ra nếu chúng ta muốn một ưu tiên logic?$\sigma^2$$\mu$

Sau đó, chúng tôi thực sự có một tích phân có tích phân có dạng

$$p(\sigma^2|\mu,\mathbf y)\propto p(\mathbf y|\mu,\sigma^2)\cdot p(\sigma^2)$$

$\propto$

Khả năng đó có dạng:

$$f(\sigma^2; \alpha, \beta)= \frac{\beta^\alpha}{\Gamma(\alpha)}(\sigma^2)^{-\alpha - 1}\exp\left(-\frac{\beta}{\sigma^2}\right)$$

$\alpha$$\beta$$y$$n$$\mu$

$$f(\sigma^2;\theta,\tau) = \frac{1}{\sigma^2 \tau \sqrt{2 \pi}}\, e^{-\frac{(\ln \sigma^2 - \theta)^2}{2\tau^2}}$$

... Và sản phẩm của những thứ đó hoàn toàn không phải là "tốt đẹp" để thử đối phó. Ví dụ: Wolfram Alpha không thể tích hợp * và nhiều khả năng sẽ có được thứ gì đó như thế này trong một thời gian hợp lý hơn tôi.

$x$$\sigma^2$$x^{-\alpha - 2} \exp(-\frac{\beta}{x}-\frac{(\ln x - \theta)^2}{2\tau^2})$$(0,\infty)$

Thảo luận về một số phương pháp tiếp cận phân tích độ hấp dẫn

Nếu thực tế là mọi người thường có xu hướng chọn các linh mục 'tốt đẹp' phân tích (đặc biệt là khi dạy môn học, nhưng cũng thường xuyên gặp vấn đề thực sự), thì đó sẽ là vấn đề xuất hiện gần như mọi lúc. Điều đó không có nghĩa là việc chọn các linh mục tốt về mặt phân tích là sai - thông thường chúng ta chỉ có ý thức mơ hồ về thông tin trước đó của mình (tôi hiếm khi có một phân phối trước cụ thể, mặc dù tôi có thể có một số khái niệm về các giá trị có thể hoặc có thể - tôi có thể có một ý nghĩa rộng lớn về nơi tôi muốn hầu hết xác suất trước đó, hoặc đại khái là nơi có nghĩa là, chẳng hạn - nếu tôi không biết dạng chức năng cụ thể nào tôi muốn cho trước và liên hợp trước có thể phản ánh thông tin tôi muốn có trước đây, đó thường có thể là một lựa chọn khá hợp lý).

Tuy nhiên trong một ý nghĩa thực tế, vẫn có thể giải quyết vấn đề này theo một số cách. Chúng ta có thể, ví dụ, gần đúng về phía sau với mức độ chính xác khác nhau. Dưới đây là một vài ví dụ (không có nghĩa là toàn diện): (i) bằng cách xấp xỉ mức mong muốn trước theo bất kỳ cách nào - có thể bằng hỗn hợp các linh mục liên hợp hoặc có thể điều khiển được - mang lại một hỗn hợp tương ứng cho hậu thế, hoặc (ii) tích phân số thích hợp (mà trong trường hợp đơn biến có thể làm việc cũng đáng ngạc nhiên), hoặc (iii), chúng tôi có thể mô phỏng từ phân phối này mà không biết rằng không thể thiếu - có lẽ qua lấy mẫu từ chối , hoặc thông qua một Metropolis-Hastings loại Markov Chain-Monte Carlo thuật toán, miễn là chúng ta có một hàm giới hạn phù hợp hoặc xấp xỉ tương ứng).

Trước đây, các cách tiếp cận phổ biến cho vấn đề này có xu hướng bao gồm tích hợp số (hoặc tích hợp Monte Carlo ở các chiều cao hơn) và xấp xỉ Laplace . Trong thực tế, chúng vẫn được sử dụng cho nhiều vấn đề, nhưng chúng ta có nhiều công cụ khác.

Do có quá nhiều công việc Bayes được thực hiện bằng các phiên bản khác nhau của MCMC và các phương pháp lấy mẫu liên quan hiện nay, khả năng chuyển đổi phân tích là vấn đề ít hơn nhiều so với trước đây, ngay cả với các vấn đề với số lượng lớn các tham số - tôi đã thấy cả ba các cách tiếp cận tôi đã đề cập ở trên được sử dụng trong bối cảnh đó; điều này có nghĩa là chúng tôi khá tự do lựa chọn ưu tiên mà chúng tôi muốn, trên cơ sở mức độ phản ánh kiến ​​thức trước đây của chúng tôi hoặc khả năng chính quy hóa suy luận - vì sự phù hợp của nó đối với suy luận của chúng tôi thay vì dễ dàng thao tác đại số. Vì vậy, bạn thấy, chẳng hạn, Andrew Gelman ủng hộ việc sử dụng các linh mục nửa Cauchy và nửa t trên các tham số phương sai trong các mô hình phân cấp vàCác linh mục Cauchy thông tin yếu trong hồi quy logistic (tuy nhiên, bài báo đó không sử dụng MCMC, mà là đạt được suy luận gần đúng thông qua EM kết hợp với bình phương tối thiểu lặp lại thông thường cho hồi quy logistic).