Một người không có thông tin trước đó là gì? Chúng ta có thể có một cái mà thực sự không có thông tin không?

Lấy cảm hứng từ một bình luận từ câu hỏi này :

Điều gì chúng ta xem là "không thông tin" trong một ưu tiên - và thông tin nào vẫn được chứa trong một trước được cho là không thông tin?

Tôi thường nhìn thấy sự ưu tiên trong phân tích trong đó phân tích kiểu thường xuyên cố gắng mượn một số phần hay từ phân tích Bayes (có thể giải thích dễ dàng hơn tất cả theo cách 'điều nóng bỏng phải làm'), ưu tiên được chỉ định là phân bố đồng đều trên khắp bờ cõi của các biện pháp hiệu quả, tập trung vào 0. Nhưng ngay cả điều đó khẳng định một hình dạng trước - nó chỉ xảy ra được bằng phẳng.

Có một thông tin tốt hơn trước khi sử dụng?

[Cảnh báo: với tư cách là thành viên mang thẻ của Mục tiêu Bayes của ISBA , quan điểm của tôi không đại diện cho tất cả các nhà thống kê Bayes!, Hoàn toàn ngược lại ...]

Tóm lại, không có điều gì như trước với "thực sự không có thông tin".

Thật vậy, "không thông tin" trước đáng buồn là một cách hiểu sai. Bất kỳ phân phối trước có chứa một số đặc điểm kỹ thuật gần giống với một số lượng thông tin. Thậm chí (hoặc đặc biệt) đồng phục trước. Thật vậy, đồng phục trước chỉ bằng phẳng cho một tham số nhất định của vấn đề. Nếu một thay đổi thành một tham số hóa khác (thậm chí là một giới hạn), sự thay đổi của biến Jacobian đi vào hình ảnh và mật độ và trước đó không còn nữa.

Như Elvis đã chỉ ra, entropy tối đa là một cách tiếp cận được ủng hộ để chọn cái gọi là các linh mục "không thông tin". Tuy nhiên, nó yêu cầu (a) đủ thông tin về một số khoảnh khắc của bản phân phối trước để chỉ định các ràng buộc dẫn đến MaxEnt trước và (b) sự lựa chọn sơ bộ của một biện pháp tham chiếu [trong cài đặt liên tục], một lựa chọn đưa cuộc tranh luận trở lại giai đoạn ban đầu! (Ngoài ra, việc tối ưu hóa các ràng buộc (nghĩa là lựa chọn$h(\theta)$$\pi(\cdot)$

$$\int_{\Theta} h(\theta)\,\text{d}\pi(\theta) = \mathfrak{h}_0$$ $$\pi^*(\theta)\propto \exp\{ \lambda^\text{T}h(\theta) \}$$ $\text{d}\mu(\theta)$$h$) tác động đến hình dạng của MaxEnt trước đó.)

José Bernardo đã đưa ra một lý thuyết ban đầu về các linh mục tham chiếu, trong đó ông chọn ưu tiên để tối đa hóa thông tin do dữ liệu mang lại bằng cách tối đa hóa khoảng cách Kullback giữa trước và sau. Trong các trường hợp đơn giản nhất không có tham số phiền toái, giải pháp là ưu tiên của Jeffreys. Trong các vấn đề phức tạp hơn, (a) phải lựa chọn các tham số quan tâm (hoặc thậm chí là xếp hạng thứ tự quan tâm của họ); (b) tính toán của trước có liên quan khá nhiều và đòi hỏi một chuỗi các bộ nhỏ gọn được nhúng để tránh các vấn đề không chính xác. (Xem ví dụ: Sự lựa chọn Bayes để biết chi tiết.)

Trong một khuynh hướng thú vị, một số nhà nghiên cứu bên ngoài quan điểm Bayes đã phát triển các quy trình gọi là phân phối độ tin cậy là phân phối xác suất trên không gian tham số, được xây dựng bằng cách đảo ngược từ các thủ tục dựa trên tần số mà không có cấu trúc rõ ràng hoặc thậm chí là thước đo thống trị trên không gian tham số này. Họ cho rằng sự vắng mặt của việc xác định trước là một điểm cộng, mặc dù kết quả chắc chắn phụ thuộc vào sự lựa chọn của thủ tục dựa trên tần số khởi tạo

Nói tóm lại, không có lựa chọn "tốt nhất" (hoặc thậm chí "tốt hơn") cho "the" "không chính xác" trước đó. Và tôi coi đây là cách mọi thứ nên bởi vì bản chất của phân tích Bayes ngụ ý rằng việc lựa chọn phân phối trước có vấn đề. Và rằng không có sự so sánh của các linh mục: người ta không thể "tốt hơn" người khác. . sử dụng khi không chắc chắn về thông tin trước đó của một người hoặc tìm kiếm một suy luận Bayes chuẩn, một số trong những linh mục được hỗ trợ một phần bởi các lập luận lý thuyết thông tin,

Một đặc tính hấp dẫn của các linh mục không chính thức chính là "tài sản phù hợp thường xuyên": nó có nghĩa là khoảng tin cậy 95% sau đó cũng (ít nhất là, khoảng) khoảng tin cậy 95% theo nghĩa thường xuyên. Khách sạn này dành cho tài liệu tham khảo của Bernardo trước mặc dù tiền của các linh mục không phù hợp này không hướng đến việc đạt được một tài sản phù hợp với người thường xuyên tốt, Nếu bạn sử dụng một tài liệu không phù hợp "ngây thơ" ("phẳng") như phân phối thống nhất hoặc Gaussian phân phối với một phương sai rất lớn sau đó không có gì đảm bảo rằng tài sản phù hợp thường xuyên nắm giữ. Có thể tham chiếu trước của Bernardo không thể được coi là lựa chọn "tốt nhất" của ưu tiên không phù hợp nhưng có thể được coi là thành công nhất.

Các bản phân phối của Jeffreys cũng chịu sự không nhất quán: các thầy tu Jeffreys cho một biến số hoặc hơn là không chính xác, đó không phải là trường hợp của Jeffreys trước một tham số xác suất : thước đo có khối lượng hơn .$(-\infty,\infty)$$(0,\infty)$$p$$\text{d}p/\sqrt{p(1-p)}$$\pi$$(0,1)$

Renyi đã chỉ ra rằng một phân phối không thông tin phải được liên kết với một tích phân không phù hợp. Thay vào đó, hãy xem các bản phân phối của Lhoste để tránh khó khăn này và bất biến dưới sự thay đổi của các biến (ví dụ: đối với , số đo là ).$p$$\text{d}p/p(1-p)$

---

Đầu tiên, bản dịch là tốt!

Dành cho E. LHOSTE: "Le tính des probabilités appliqué à l'artillerie", Revue d'artillerie, tome 91, mai à août 1923

Đối với A. RENYI: "Về một lý thuyết tiên đề mới về xác suất" Acta Mathematica, Académie des Science hongroises, tome VI, fasc.3-4, 1955

Tôi có thể thêm: M. DUMAS: "Lois de probabilité a prori de Lhoste", Science et kỹ thuật de l'armement, 56, 4ème fascicule, 1982, tr 687-715

Tôi đồng ý với câu trả lời xuất sắc của Xi'an , chỉ ra rằng không có một ưu tiên duy nhất nào là "không thông tin" theo nghĩa không mang thông tin. Để mở rộng về chủ đề này, tôi muốn chỉ ra rằng một phương án là thực hiện phân tích Bayes trong khuôn khổ xác suất không chính xác (xem đặc biệt Walley 1991 , Walley 2000 ). Trong khuôn khổ này, niềm tin trước được thể hiện bằng một tập hợp các phân phối xác suấtvà điều này dẫn đến một bộ phân phối sau tương ứng. Nghe có vẻ như nó sẽ không hữu ích lắm, nhưng thực ra nó khá tuyệt vời. Ngay cả với một tập hợp phân phối trước rất rộng (trong đó những khoảnh khắc nhất định có thể nằm trên tất cả các giá trị có thể), bạn vẫn thường nhận được sự hội tụ sau cho một hậu thế duy nhất là .$n \rightarrow \infty$

Khung phân tích này đã được Walley tiên đoán là hình thức phân tích xác suất đặc biệt của riêng nó, nhưng về cơ bản tương đương với phân tích Bayes mạnh mẽ bằng cách sử dụng một bộ linh mục, mang lại một bộ hậu thế tương ứng. Trong nhiều mô hình, có thể thiết lập một tập hợp các mục sư "không chính xác" cho phép một số khoảnh khắc (ví dụ: giá trị trung bình trước đó) thay đổi trên toàn bộ phạm vi giá trị có thể và dù sao điều này tạo ra kết quả sau có giá trị, trong đó các khoảnh khắc sau được giới hạn chặt chẽ hơn. Hình thức phân tích này được cho là có một tuyên bố tốt hơn để được gọi là "không chính xác", ít nhất là đối với những khoảnh khắc có thể thay đổi trong toàn bộ phạm vi cho phép của họ.

---

Một ví dụ đơn giản - Mô hình Bernoulli: Giả sử chúng ta quan sát dữ liệu trong đó là tham số quan tâm không xác định. Thông thường chúng tôi sẽ sử dụng mật độ beta như trước (cả trước và tham chiếu của Jeffrey đều ở dạng này). Chúng ta có thể chỉ định dạng mật độ trước này theo nghĩa trung bình và một tham số khác là:$X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$$\theta$$\mu$$\kappa > 1$

$$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$$

(Biểu mẫu này cung cấp các khoảnh khắc trước và .) Bây giờ, trong một mô hình không chính xác, chúng ta có thể đặt mức ưu tiên bao gồm tập hợp tất cả các phân phối trước này trên tất cả các giá trị dự kiến ​​có thể , nhưng với tham số khác được cố định để kiểm soát độ chính xác trong phạm vi của các giá trị trung bình. Ví dụ: chúng tôi có thể sử dụng nhóm linh mục:$\mathbb{E}(\theta) = \mu$$\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$

$$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$$

Giả sử chúng ta quan sát các chỉ số dương trong dữ liệu. Sau đó, bằng cách sử dụng quy tắc cập nhật cho mô hình Bernoulli-beta, bộ sau tương ứng là:$s = \sum_{i=1}^n x_i$

$$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$$

Phạm vi của các giá trị có thể cho kỳ vọng sau là:

$$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$$

Điều quan trọng ở đây là mặc dù chúng tôi đã bắt đầu với một mô hình "không phù hợp" với giá trị mong đợi của tham số (kỳ vọng trước đó nằm trong tất cả các giá trị có thể), tuy nhiên chúng tôi vẫn kết thúc bằng các suy luận sau thông tin có liên quan theo kỳ vọng sau của tham số (giờ đây chúng nằm trong phạm vi tập hợp các giá trị hẹp hơn). Vì , phạm vi giá trị này được nén xuống một điểm duy nhất, đó là giá trị thực của .$n \rightarrow \infty$$\theta$