Tại sao có khuyến nghị chống lại việc sử dụng Jeffreys hoặc các linh mục dựa trên entropy cho người lấy mẫu MCMC?

Trên trang wiki của họ , các nhà phát triển của bang Stan:

Một số nguyên tắc chúng ta không thích: bất biến, Jeffreys, entropy

Thay vào đó, tôi thấy rất nhiều khuyến nghị phân phối bình thường. Cho đến nay tôi đã sử dụng các phương pháp Bayes không dựa vào lấy mẫu và rất vui khi hiểu lý do tại sao là một lựa chọn tốt cho khả năng nhị thức.$\theta \sim \text{Beta}\left(\alpha=\frac{1}{2},\beta=\frac{1}{2}\right)$

Tất nhiên đây là một nhóm người đa dạng với một loạt các ý kiến ​​tập hợp lại và viết một wiki. Tôi tóm tắt tôi biết / hiểu với một số bình luận:

• Chọn trước của bạn dựa trên sự thuận tiện tính toán là một lý do không đủ. Ví dụ: chỉ sử dụng bản Beta (1/2, 1/2) vì nó cho phép cập nhật liên hợp không phải là ý kiến ​​hay. Tất nhiên, một khi bạn kết luận rằng nó có các đặc tính tốt cho loại vấn đề bạn giải quyết, điều đó tốt và bạn cũng có thể đưa ra lựa chọn giúp thực hiện dễ dàng. Có rất nhiều ví dụ, trong đó các lựa chọn mặc định thuận tiện hóa ra là có vấn đề (xem Gamna (0,001, 0,001) trước khi cho phép lấy mẫu Gibbs).

• Với Stan - không giống như WinBUGS hoặc JAGS - không có lợi thế đặc biệt nào đối với (có điều kiện-) các linh mục liên hợp. Vì vậy, bạn có thể chỉ cần bỏ qua khía cạnh tính toán một chút. Mặc dù không hoàn toàn, bởi vì với các linh mục rất nặng (hoặc các linh mục không đúng) và dữ liệu không xác định rõ các tham số, bạn gặp vấn đề (không thực sự là vấn đề cụ thể của Stan, nhưng Stan khá giỏi trong việc xác định các vấn đề này và cảnh báo người dùng thay vì vui vẻ lấy mẫu đi).

• Các linh mục "thông tin thấp" của Jeffreys đôi khi có thể không chính xác hoặc hơi khó hiểu trong các chiều cao (không bao giờ bận tâm đến việc lấy chúng) và với dữ liệu thưa thớt. Nó có thể chỉ là những điều này gây ra rắc rối quá thường xuyên cho các tác giả không bao giờ thoải mái với họ. Một khi bạn làm việc trong một cái gì đó bạn học được nhiều hơn và cảm thấy thoải mái, do đó thỉnh thoảng đảo ngược ý kiến.

• Trong cài đặt dữ liệu thưa thớt, trước đó thực sự có vấn đề và nếu bạn có thể chỉ định rằng các giá trị hoàn toàn hợp lý cho một tham số là không hợp lý, điều này sẽ giúp ích rất nhiều. Điều này thúc đẩy ý tưởng của các linh mục thông tin yếu - không phải là linh mục thông tin thực sự đầy đủ, mà là những người có hầu hết sự hỗ trợ cho các giá trị chính đáng.

• Trong thực tế, bạn có thể tự hỏi tại sao một người phiền muộn với các linh mục không thông tin, nếu chúng ta có nhiều dữ liệu xác định các tham số thực sự tốt (người ta chỉ có thể sử dụng khả năng tối đa). Tất nhiên, có rất nhiều lý do (tránh các bệnh lý, lấy "hình dạng thực sự" của hậu thế, v.v.), nhưng trong các tình huống "nhiều dữ liệu" dường như không có tranh luận thực sự chống lại các linh mục thông tin yếu kém.

• Có lẽ hơi kỳ lạ một N (0, 1) là một mức khá đáng ngạc nhiên trước hệ số trong hồi quy logistic, Poisson hoặc Cox cho nhiều ứng dụng. Ví dụ, đó là khoảng phân phối hiệu quả điều trị quan sát được qua rất nhiều thử nghiệm lâm sàng.

Họ không cung cấp bất kỳ biện minh khoa học / toán học nào để làm như vậy. Hầu hết các nhà phát triển không làm việc với loại linh mục này, và họ thích sử dụng các linh mục thực dụng / heuristic hơn, chẳng hạn như các linh mục bình thường với phương sai lớn (có thể là thông tin trong một số trường hợp). Tuy nhiên, có một điều lạ là họ rất vui khi sử dụng các linh mục PC, dựa trên Entropy (phân kỳ KL), sau khi họ bắt đầu làm việc với chủ đề này.

$Gamma(0.001,0.001)$