Là một trước mơ hồ giống như một trước không thông tin?


27

Đây là một câu hỏi về thuật ngữ. Là một "trước mơ hồ" giống như một trước không thông tin, hoặc có một số khác biệt giữa hai? Ấn tượng của tôi là chúng giống nhau (từ việc tìm kiếm mơ hồ và không có nhiều thông tin với nhau), nhưng tôi không thể chắc chắn được.


1
Mơ hồ: Vâng. Không chính thức: Số
hồng y

Câu trả lời:


18

Gelman và cộng sự. (2003) nói:

từ lâu đã có một mong muốn cho các bản phân phối trước đó có thể được đảm bảo để đóng một vai trò tối thiểu trong phân phối sau. Các bản phân phối như vậy đôi khi được gọi là 'phân phối trước tham chiếu' và mật độ trước được mô tả là mơ hồ, bằng phẳng hoặc không phù hợp . [Nhấn mạnh từ văn bản gốc]

Dựa trên bài đọc của tôi về cuộc thảo luận của Jeffreys trước Gelman et al. (2003, tr.62ff, không có sự đồng thuận nào về sự tồn tại của một thực sự không có thông tin trước đó, và các linh mục mơ hồ / phẳng / khuếch tán đủ là đủ.

Một số điểm mà họ đưa ra:

  1. Bất kỳ ưu tiên nào bao gồm thông tin, bao gồm cả các linh mục nói rằng không có thông tin nào được biết đến.
    • Ví dụ, nếu chúng ta biết rằng chúng ta không biết gì về tham số trong câu hỏi, thì chúng ta biết điều gì đó về nó.
  2. Trong hầu hết các bối cảnh được áp dụng, không có lợi thế rõ ràng nào trước khi thực sự không có nhiều thông tin khi các linh mục đủ mơ hồ, và trong nhiều trường hợp có những lợi thế - như tìm ra một ưu tiên thích hợp - để sử dụng tham số mơ hồ của liên hợp trước.
  3. Nguyên tắc của Jeffreys có thể hữu ích để xây dựng các linh mục giảm thiểu nội dung thông tin của Fisher trong các mô hình đơn biến, nhưng không có sự tương tự cho trường hợp đa biến
  4. Khi so sánh các mô hình, ưu tiên của Jeffreys sẽ thay đổi theo sự phân bố khả năng, do đó, các linh mục cũng sẽ phải thay đổi
  5. nhìn chung đã có rất nhiều cuộc tranh luận về việc liệu trước đó không có thông tin hay không (vì 1, nhưng cũng thấy thảo luận và tài liệu tham khảo về trang 66 trong Gelman và cộng sự về lịch sử của cuộc tranh luận này).

lưu ý đây là wiki cộng đồng - Lý thuyết cơ bản nằm ở giới hạn hiểu biết của tôi và tôi sẽ đánh giá cao những đóng góp cho câu trả lời này.

Gelman và cộng sự. 2003 Phân tích dữ liệu Bayes, Chapman và Hall / CRC


1
Bản thân Gelman đã vượt ra khỏi các linh mục "không thông tin", xem ví dụ stat.columbia.edu/~cook/movabletype/archives 2007/07 / và tài liệu tôi tham khảo trong câu trả lời của tôi và các tác phẩm khác của ông. Thái độ này dường như ngày càng phổ biến trong các nhà thống kê ứng dụng.
JMS

@JMS Gelman et. al. Năm 2003 đã đưa ra quan điểm này và tôi đã cố gắng tóm tắt nó, họ dường như xem xét các linh mục không phù hợp cho các mục đích lý thuyết / lý thuyết / heuristic
David LeBauer

Vâng, một cuốn sách giáo khoa về thống kê Bayes chắc chắn không thể bỏ qua chúng. Tôi chỉ có ý nói thêm rằng xu hướng thống kê được áp dụng kể từ đó đã tránh xa các lựa chọn truyền thống này, mặc dù công việc vẫn tiếp tục trên "Bayes khách quan"
JMS

Tôi nghĩ mọi người có xu hướng sử dụng thông tin theo hai cách khi mô tả các linh mục, theo nghĩa không chính thức và theo nghĩa lý thuyết thông tin. Vì vậy, bạn có thể thiết lập một entropy tối đa trước đó chứa càng ít thông tin càng tốt, theo nghĩa lý thuyết thông tin. Sử dụng phân phối này, bạn (có thể) báo hiệu rằng "bạn không biết gì về tham số", điều này có thể khá thông tin theo nghĩa không chính thức hơn ...
Rasmus Bååth

9

Chắc chắn là không, mặc dù chúng thường được sử dụng thay thế cho nhau. Một ưu tiên mơ hồ (tương đối không hiểu rõ, không thực sự thiên về một số giá trị hơn các giá trị khác) trên một tham số thực sự có thể tạo ra một thông tin rất chính xác trước một số biến đổi khác . Đây ít nhất là một phần của động lực cho trước đó của Jeffreys, ban đầu được xây dựng để không mang nhiều thông tin nhất có thể.f ( θ )θf(θ)

Linh mục mơ hồ cũng có thể làm một số điều khá đau khổ cho mô hình của bạn. Ví dụ kinh điển hiện nay đang sử dụng làm trên các thành phần phương sai trong mô hình phân cấp.ϵ 0tôinverSeGmộtmmmột(ε,ε)ε0

Các giới hạn không phù hợp trước cho một hậu thế không đúng trong trường hợp này. Một giải pháp thay thế phổ biến là sử dụng để thực sự nhỏ, điều này dẫn đến kết quả trước đó trông gần như thống nhất trên . Nhưng nó cũng dẫn đến một hậu thế gần như không phù hợp, và sự phù hợp mô hình và suy luận phải chịu đựng. Xem các bản phân phối trước của Gelman để biết các tham số phương sai trong các mô hình phân cấp để có giải trình hoàn chỉnh.R +εR+

Chỉnh sửa: @csgillespie (đúng!) Chỉ ra rằng tôi chưa trả lời hoàn toàn câu hỏi của bạn. Theo tôi, một ưu tiên không mang tính thông tin là một điều mơ hồ theo nghĩa là nó không đặc biệt ưu tiên một khu vực của không gian tham số hơn một khu vực khác, nhưng khi làm như vậy, nó không nên tạo ra các thông số thông tin về các thông số khác. Vì vậy, một ưu tiên không có thông tin là mơ hồ nhưng một ưu tiên mơ hồ không nhất thiết là không thông tin. Một ví dụ trong trường hợp này là lựa chọn biến Bayes; một "mơ hồ" trước về xác suất bao gồm biến có thể thực sự tạo ra một thông tin khá hay trước tổng số biến có trong mô hình!

Dường như đối với tôi, việc tìm kiếm các linh mục thực sự không thông tin là hoàn hảo (mặc dù nhiều người sẽ không đồng ý); tốt hơn để sử dụng cái gọi là các linh mục thông tin "yếu" (mà theo tôi, nói chung là mơ hồ trong một số ý nghĩa). Thực sự, tần suất chúng ta không biết về tham số trong câu hỏi?


Câu trả lời của bạn rất hay, nhưng thực tế bạn không nói rõ "cái gì không thông tin trước" và nó khác với "cái trước mơ hồ";)
csgillespie

@cgillespie: Bạn đã đúng, đã chỉnh sửa :)
JMS

theo đoạn cuối của bạn và hỗ trợ bản chất tinh túy của tìm kiếm: nếu chúng ta biết rằng chúng ta không biết về tham số trong câu hỏi, thì chúng ta biết điều gì đó về nó.
David LeBauer

Khá! Điều trớ trêu lớn là nhiều người dành quá nhiều năng lượng vắt tay vì lựa chọn trước của họ không suy nghĩ kỹ trước khi bỏ qua khả năng. Nói chung, một khả năng sai chính tả sẽ dễ gây ra rắc rối hơn nhiều. Nhưng đó là một câu hỏi hoàn toàn khác ...
JMS

5

Lambert et al (2005) đưa ra câu hỏi "Làm thế nào mơ hồ là mơ hồ? Một nghiên cứu mô phỏng về tác động của việc sử dụng các bản phân phối mơ hồ trong MCMC bằng WinBUGS ". Họ viết: "Chúng tôi không ủng hộ việc sử dụng thuật ngữ phân phối không thông tin trước vì chúng tôi coi tất cả các linh mục đóng góp một số thông tin". Tôi có xu hướng đồng ý nhưng tôi chắc chắn không có chuyên gia về thống kê Bayes.


2
Điều đó đồng ý với niềm tin chủ quan của tôi rằng không có thứ gọi là không có thông tin trước.
vào

@onestop vui lòng xem xét đóng góp cho câu trả lời CW của tôi
David LeBauer

tôiG(ε,ε)ε0

3

Tôi nghi ngờ "trước mơ hồ" được sử dụng có nghĩa là một ưu tiên được biết là mã hóa một số lượng kiến ​​thức nhỏ, nhưng khác không về giá trị thực của một tham số, trong khi "trước không thông tin" sẽ được sử dụng để có nghĩa là hoàn toàn không biết liên quan đến giá trị của tham số đó. Nó có lẽ sẽ được sử dụng để chỉ ra rằng phân tích không hoàn toàn khách quan.

Ví dụ, một Gaussian rất rộng có thể là một mơ hồ trước cho một tham số trong đó một trước không thông tin sẽ được thống nhất. Gaussian sẽ gần như không thay đổi về mức độ quan tâm, tuy nhiên sẽ thiên về một giá trị cụ thể hơn một chút so với bất kỳ giá trị nào khác (nhưng nó có thể làm cho vấn đề trở nên dễ hiểu hơn về mặt toán học).


Điều này đặt ra câu hỏi về việc đồng phục có thực sự không có thông tin không? tối đa và tối thiểu của đồng phục không có thông tin là gì? Trước đó sẽ không thông tin sau khi chuyển đổi sang quy mô khác?
David LeBauer

1
Linh mục đồng phục không phải là không thông tin và ngược lại, nó phụ thuộc vào bản chất của vấn đề. Tôi nghĩ rằng ý tưởng về một thông tin tối thiểu trước thường thực tế hơn, sử dụng MAXENT và các nhóm biến đổi để quyết định phân phối trước đó truyền tải lượng thông tin tối thiểu bao gồm các ràng buộc đã biết (ví dụ: trước đó nên bất biến đối với tỷ lệ). Đối với nhiều vấn đề, các linh mục không phù hợp làm việc tốt, do đó không nhất thiết phải có một mức tối thiểu và tối đa được xác định rõ.
Dikran Marsupial

2

Linh mục không thông tin có các hình thức khác nhau. Những hình thức này bao gồm các linh mục mơ hồ và các linh mục không đúng. Vì vậy, mơ hồ trước là một phần của các linh mục không thông tin.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.