Tại sao Jeffreys trước hữu ích?

61

Tôi hiểu rằng Jeffreys trước là bất biến dưới tham số lại. Tuy nhiên, điều tôi không hiểu là tại sao khách sạn này lại được mong muốn.

Tại sao bạn không muốn thay đổi trước khi thay đổi biến?

bayesian prior

— tskuzzy
nguồn

3

Quan tâm có thể có: Tại sao các linh mục Jeffreys được coi là không thông tin? .

30

Hãy để tôi hoàn thành câu trả lời của Zen. Tôi không thích khái niệm "đại diện cho sự thiếu hiểu biết". Điều quan trọng không phải là Jeffreys trước mà là Jeffreys sau . Hậu thế này nhằm mục đích phản ánh tốt nhất có thể thông tin về các tham số do dữ liệu mang lại. Thuộc tính bất biến là đương nhiên cần thiết cho hai điểm sau. Ví dụ, hãy xem xét mô hình nhị thức với tham số tỷ lệ không xác định và tham số tỷ lệ cược . $\theta$ $\psi=\frac{\theta}{1-\theta}$

Hậu thế của Jeffreys trên phản ánh tốt nhất có thể thông tin về do dữ liệu mang lại. Có một sự tương ứng một-một giữa và . Sau đó, chuyển đổi hậu tố Jeffreys trên thành hậu thế trên (thông qua công thức thay đổi biến số thông thường) sẽ mang lại phân phối phản ánh tốt nhất có thể thông tin về . Do đó, bản phân phối này phải là bản sau của Jeffreys về . Đây là tài sản bất biến. $\theta$ $\theta$ $\theta$ $\psi$ $\theta$ $\psi$ $\psi$ $\psi$
Một điểm quan trọng khi rút ra kết luận phân tích thống kê là truyền thông khoa học . Hãy tưởng tượng bạn đưa Jeffreys sau cho cho một đồng nghiệp khoa học. Nhưng anh ấy / cô ấy quan tâm đến hơn là . Sau đó, đây không phải là một vấn đề với thuộc tính bất biến: anh ấy / cô ấy chỉ cần áp dụng công thức thay đổi biến. $\theta$ $\psi$ $\theta$

— Stéphane Laurent
nguồn

Ah điều này làm sáng tỏ mọi thứ một chút. Nhưng có một lý do trực giác tốt tại sao hậu tố cho tham số tỷ lệ cược phải giống với thông số tỷ lệ sau? Điều đó có vẻ khá không tự nhiên với tôi.

— tskuzzy

Nó không giống nhau ! Một cái được gây ra bởi cái kia bởi công thức thay đổi của các biến. Có một sự tương ứng một-một giữa hai tham số. Sau đó, phân phối sau trên một trong các tham số này sẽ tạo ra phân phối sau trên khác.

— Stéphane Laurent

2

(+1) Stéphane. OP dường như vẫn còn bối rối khi anh nói "... nên giống nhau ...". Hai hậu thế không "giống nhau", ví dụ, trong ví dụ của Stéphane, bạn có ; nếu bạn không có loại nhất quán này bằng cách sử dụng các linh mục mặc định (được tính toán), thì các linh mục của bạn có một chút hạt dẻ.

P {1 / 3 \leq θ \leq 2 / 3 ∣ X = x} = P {1 / 2 \leq ψ \leq 2 ∣ X = x}

$P\{1/3\leq\theta\leq 2/3\mid X=x\}=P\{1/2\leq\psi\leq 2\mid X=x\}$

— Zen

1

Tôi nghĩ điều còn thiếu từ bài đăng này là khi có nhiều thông tin trong dữ liệu về một tham số, việc sử dụng cụ thể trước đó không thực sự quan trọng. Ví dụ, tỷ lệ nhị thức, cho dù chúng ta sử dụng đồng phục, jeffreys hay haldane trước đây sẽ tạo ra rất ít sự khác biệt trừ khi hậu thế rất rộng. Trong trường hợp này, đó là một chút tranh luận về học thuật mà trước đó là "đúng" bởi vì không có kết luận có ý nghĩa nào có thể được rút ra. Giá trị thực của một ưu tiên không cung cấp thông tin là ở nhiều chiều, nhưng vấn đề này chưa được giải quyết - Jeffreys trước là xấu ở đây.

— xác suất

3

Lý thuyết này không đầy đủ và phụ thuộc vào thứ tự tham số, lựa chọn vùng nhỏ gọn và hàm khả năng. Vì vậy, nó không tuân theo nguyên tắc khả năng chẳng hạn. Ngoài ra, rất khó để áp dụng cho dữ liệu không độc lập. Hơn nữa, lý thuyết của Bernardo chỉ hoàn thành cho các vấn đề tham số 1-d. Nó có lẽ là phương pháp tốt nhất hiện có mặc dù. Một đối thủ cạnh tranh tốt là cách tiếp cận nhóm biến đổi của Jaynes.

— xác suất

41

Giả sử rằng bạn và một người bạn đang phân tích cùng một bộ dữ liệu bằng mô hình bình thường. Bạn chấp nhận tham số hóa thông thường của mô hình bình thường bằng cách sử dụng giá trị trung bình và phương sai làm tham số, nhưng bạn của bạn thích tham số hóa mô hình bình thường với hệ số biến đổi và độ chính xác là tham số (hoàn toàn "hợp pháp"). Nếu cả hai bạn sử dụng các linh mục của Jeffreys, phân phối sau của bạn sẽ là phân phối sau của bạn bè được chuyển đổi chính xác từ tham số hóa của anh ấy sang của bạn. Theo nghĩa này, trước đây của Jeffreys là "bất biến"

(Nhân tiện, "bất biến" là một từ khủng khiếp; điều chúng tôi thực sự muốn nói là "covariant" theo cùng một nghĩa của phép tính toán học / hình học vi phân, nhưng, tất nhiên, thuật ngữ này đã có ý nghĩa xác suất được thiết lập tốt, vì vậy chúng tôi không thể sử dụng nó.)

Tại sao tài sản nhất quán này mong muốn? Bởi vì, nếu trước đó của Jeffreys có bất kỳ cơ hội nào thể hiện sự thiếu hiểu biết về giá trị của các tham số theo nghĩa tuyệt đối (thực tế thì không, nhưng vì những lý do khác không liên quan đến "bất biến") và không phải là không biết gì về một tham số cụ thể của mô hình, phải là trường hợp, bất kể chúng ta chọn tùy ý tham số nào để bắt đầu, các hậu thế của chúng ta sẽ "khớp" sau khi chuyển đổi.

Chính Jeffreys đã vi phạm tài sản "bất biến" này thường xuyên khi xây dựng các linh mục của mình.

Bài viết này có một số cuộc thảo luận thú vị về điều này và các chủ đề liên quan.

— thiền học
nguồn

1

+1: Câu trả lời hay. Nhưng, tại sao trước đây của Jeffreys không đại diện cho sự thiếu hiểu biết về giá trị của các tham số?

— Neil G

4

Bởi vì nó thậm chí không phải là một bản phân phối. Thật nghịch lý khi cho rằng một bản phân phối phản ánh sự thiếu hiểu biết. Một phân phối luôn phản ánh thông tin.

— Stéphane Laurent

2

Một tài liệu tham khảo khác: projecteuclid.org/ Kẻ

— Stéphane Laurent

@ StéphaneLaurent: Người ta phải có một số niềm tin ngay cả trong tình trạng hoàn toàn không biết gì. Dù hậu thế của bạn là gì đi nữa, bất kể khả năng nào được gây ra bởi dữ liệu của bạn là niềm tin mà bạn đang giả định trong trạng thái không biết gì. Nguyên tắc trực quan phải được tôn trọng khi quyết định niềm tin đó là nó phải bất biến dưới những thay đổi của nhãn (bao gồm cả việc tái bản). Tôi không chắc chắn, nhưng tôi nghĩ rằng nguyên tắc đó một mình (trong tất cả các diễn giải có thể có của nó - entropy tối đa, sự lặp lại bất biến, v.v.) luôn quyết định niềm tin.

— Neil G

Do đó, khi người ta nói "một phân phối phản ánh sự thiếu hiểu biết", người ta có nghĩa là phân phối phù hợp với nguyên tắc này.

— Neil G

12

Để thêm một số trích dẫn vào câu trả lời tuyệt vời của Zen: Theo Jaynes, Jeffreys trước là một ví dụ về nguyên tắc của các nhóm biến đổi, kết quả từ nguyên tắc thờ ơ:

Bản chất của nguyên tắc chỉ là: (1) chúng tôi nhận ra rằng gán xác suất là một phương tiện để mô tả một trạng thái i kiến thức nhất định. (2) Nếu bằng chứng sẵn có cho chúng tôi không có lý do nào để xem xét đề xuất nhiều hơn hoặc ít hơn , thì cách trung thực duy nhất chúng tôi có thể mô tả trạng thái kiến thức đó là gán cho chúng xác suất bằng nhau: . Bất kỳ thủ tục nào khác sẽ không nhất quán theo nghĩa là, chỉ bằng cách trao đổi nhãn chúng ta có thể tạo ra một vấn đề mới trong đó trạng thái kiến thức của chúng ta giống nhau nhưng trong đó chúng ta đang gán các xác suất khác nhau $A_1$ $A_2$ $p_1=p_2$ $(1, 2)$

Bây giờ, để trả lời câu hỏi của bạn: Tại sao bạn không muốn thay đổi trước khi thay đổi các biến?

Theo Jaynes, tham số hóa là một loại nhãn tùy ý khác và người ta không thể sử dụng nhãn bằng cách trao đổi nhãn đơn thuần tạo ra một vấn đề mới trong đó trạng thái kiến thức của chúng ta giống nhau nhưng trong đó chúng ta đang gán các xác suất khác nhau. Giáo dục

— Neil G
nguồn

2

Jaynes có vẻ hơi thần bí đối với tôi.

— Stéphane Laurent

@ StéphaneLaurent: Có lẽ tôi đã quá dễ dàng chuyển đổi rồi! Nhưng, tôi thấy điều này rất thuyết phục: ET Jaynes, Sinh ở đâu chúng ta đứng trên Maximum Entropy?, Nhẫn trong Chủ nghĩa hình thức Entropy tối đa, R. Levine và M. Tribus, Eds. Cambridge, MA, USA: The MIT Press, 1979, trang 15.

— Neil G

2

Xian nhận được một bức thư ca ngợi Jaynes: ceremade.dauphine.fr/~xian/critic.html Thật đáng tiếc nếu bạn không đọc tiếng Pháp, thư này vừa đáng sợ vừa buồn cười. Người viết dường như đã phát điên khi nghĩ quá nhiều về số liệu thống kê của Bayes;)

— Stéphane Laurent

1

@ StéphaneLaurent: Đọc nó ngay bây giờ. Điều này là hoàn toàn đúng: "si vous khẳng định trên trang 508" tính không lặp lại của hầu hết các thí nghiệm "à quoi bon obluite" đang tìm kiếm các thủ tục fequentist tối ưu "trên trang 512? Si la plupart desTHERèmes ne peuvent donc pas être traité bình luận le "choix Bayésien", qui se veut être le paradigme pour toutTHERème inférentiel, n'est-ce pas, peut-il se baser sur une réconcestion avec le fréquentisme (p. 517-518)? đổ toute qu'une probabilité n'est jamais une fréquence! "

— Neil G

1

Ngoài ra: "Le Principe du Maximum d'Entropie est lui qu'il permet obluite d'unifier Théorie de l'In information, Mécanique Statistique, Thermodynamique ["cũng mô tả vị trí của tôi. Tuy nhiên, không giống như nhà văn, tôi không có hứng thú với việc dành hàng giờ để thuyết phục người khác chấp nhận những gì tôi thấy rất tự nhiên.

— Neil G

4

Trong khi thường xuyên quan tâm, nếu chỉ để thiết lập một tham chiếu trước khi dựa vào đó để đánh giá priors khác, Jeffreys priors có thể hoàn toàn vô dụng như ví dụ khi họ dẫn đến posteriors không đúng: đây là ví dụ trường hợp của hai thành phần Gaussian hỗn hợp đơn giản với tất cả các tham số chưa biết. Trong trường hợp này, hậu thế của Jeffreys trước không tồn tại, bất kể có bao nhiêu quan sát có sẵn. (Bằng chứng có sẵn trong một bài báo gần đây tôi đã viết với Clara Grazian.)

p N (μ_{0}, σ_{0}^{2}) + (1 - p) N (μ_{1}, σ_{1}^{2})

$p\mathcal{N}(\mu_0,\sigma_0^2)+(1-p)\mathcal{N}(\mu_1,\sigma_1^2)$

— Tây An
nguồn

-2

Jeffreys trước là vô dụng . Điều này là do:

Nó chỉ xác định hình thức phân phối; nó không cho bạn biết các thông số của nó sẽ là gì.
Bạn không bao giờ hoàn toàn không biết gì - luôn có một cái gì đó về tham số mà bạn biết (ví dụ: thường thì nó không thể là vô cùng). Sử dụng nó cho suy luận của bạn bằng cách xác định một phân phối trước. Đừng nói dối bản thân bằng cách nói rằng bạn không biết gì cả.
"Bất biến dưới sự biến đổi" không phải là một tài sản mong muốn. Khả năng của bạn thay đổi theo sự biến đổi (ví dụ bởi Jacobian). Điều này không tạo ra "vấn đề mới", tốc độ Jaynes. Tại sao trước đây không nên được đối xử như nhau?

Chỉ không sử dụng nó.

— chưa
nguồn

1

Hở? Khả năng không phải là mật độ và sẽ không thay đổi theo quy định lại

— innisfree