Có một liên hợp trước: Tài sản sâu hoặc tai nạn toán học?

Một số phân phối có linh mục liên hợp và một số thì không. Có phải sự phân biệt này chỉ là một tai nạn? Đó là, bạn làm toán, và nó hoạt động theo cách này hay cách khác, nhưng nó không thực sự cho bạn biết bất cứ điều gì quan trọng về phân phối ngoại trừ chính thực tế?

Hoặc sự hiện diện hay vắng mặt của một liên hợp trước phản ánh một số thuộc tính sâu sắc hơn của một phân phối? Các phân phối với các linh mục liên hợp có chia sẻ một số thuộc tính hoặc thuộc tính thú vị khác mà các phân phối khác thiếu khiến cho các phân phối đó, chứ không phải các phân phối khác có liên hợp trước không?

Nó không phải là ngẫu nhiên. Ở đây bạn sẽ tìm thấy một bản tóm tắt rất hay về các linh mục liên hợp. Nói một cách cụ thể, nó đề cập rằng nếu tồn tại một tập hợp các số liệu thống kê chính xác về kích thước đã xác định cho hàm khả năng đã cho, thì bạn có thể tạo một liên hợp trước cho nó. Có một bộ số liệu thống kê đầy đủ có nghĩa là bạn có thể xác định khả năng trong một biểu mẫu cho phép bạn ước tính các tham số theo cách hiệu quả tính toán.

Bên cạnh đó, có các linh mục liên hợp, nó không chỉ thuận tiện về mặt tính toán. Nó cũng cung cấp làm mịn và cho phép làm việc với rất ít mẫu hoặc không có mẫu trước đó, cần thiết cho các vấn đề như ra quyết định, trong trường hợp bạn có rất ít bằng chứng.

Tôi rất mới với số liệu thống kê của Bayes, nhưng dường như tất cả các phân phối này (và nếu không phải tất cả chúng đều ít nhất là những phân tích hữu ích) chia sẻ thuộc tính mà chúng được mô tả bởi một số liệu giới hạn về các quan sát xác định chúng . Tức là, đối với phân phối bình thường, bạn không cần phải biết mọi chi tiết về mọi quan sát, chỉ cần tổng số và tổng của chúng.

Nói cách khác, giả sử bạn đã biết lớp / họ phân phối, thì phân phối có entropy thông tin thấp hơn hẳn so với các quan sát dẫn đến nó.

Điều này có vẻ tầm thường, hay nó là loại những gì bạn đang tìm kiếm?

Những gì thuộc tính "sâu sắc" là một vấn đề rất chủ quan! vì vậy câu trả lời phụ thuộc vào khái niệm "sâu" của bạn. Nhưng, nếu có các linh mục liên hợp là một tài sản "sâu sắc", theo một nghĩa nào đó, thì ý nghĩa đó là toán học và không thống kê. Lý do duy nhất mà (một số) các nhà thống kê quan tâm đến các linh mục liên hợp là vì họ đơn giản hóa một số tính toán. Nhưng điều đó ít quan trọng hơn cho mỗi ngày trôi qua!

 EDIT

Đang cố gắng trả lời bình luận @whuber bên dưới. Đầu tiên, một câu trả lời cần hỏi chính xác hơn một gia đình linh mục liên hợp là gì? Nó có nghĩa là một gia đình được đóng trong lấy mẫu, vì vậy, (đối với mô hình lấy mẫu đã cho), các phân phối trước và sau thuộc về cùng một họ. Điều đó rõ ràng đúng với gia đình của tất cả các bản phân phối, nhưng cách giải thích đó khiến câu hỏi không có nội dung, vì vậy chúng tôi cần một cách giải thích hạn chế hơn. Furteh, như Diaconis & Ylvisaker đã chỉ ra , cho mô hình nhị thức, nếu chúng ta để là hàm dương giới hạn trên và là mật độ beta thì[ 0 , 1 ] f ( p ; α , β ) h ( p ) f ( p ; α , β $h$$[0,1]$$f(p;\alpha,\beta)$$h(p)f(p;\alpha,\beta)$là một liên hợp trước. Nó thiếu một số tính chất của liên hợp beta thông thường trước đó, nhưng họ mà nó tạo ra được đóng lại dưới dạng lấy mẫu, vì vậy một liên hợp trước. Chúng tôi không nhận được các công thức đóng tốt đẹp, nhưng chúng tôi chỉ cần một tích hợp số để có được hằng số chuẩn hóa.

Bây giờ, mật độ trước beta thông thường có một thuộc tính quan trọng nữa: Kỳ vọng sau là một hàm tuyến tính: (đối với một số ). Các tài sản tương ứng giữ cho các linh mục liên hợp "thông thường" trong các gia đình theo cấp số nhân, xem Diaconis & Ylvisaker . Vì vậy, theo nghĩa này, các gia đình trẻ hóa thông thường đóng một vai trò trong thống kê bayes tương tự như định lý Gauss-Markov trong thống kê cổ điển (xem Vai trò của Định lý Gauss-Markov trong Hồi quy tuyến tính ): đó là sự biện minh cho các phương pháp tuyến tính.a,

Ngoài ra còn có một quan điểm khác dẫn đến các gia đình liên hợp thông thường. Nếu chúng tôi nghĩ rằng thông tin trước là thông tin đại diện từ một số dữ liệu trước đó (từ cùng một họ phân phối lấy mẫu), thì chúng tôi có thể kết hợp thông tin này như một chức năng khả năng trước . Sau đó, chúng ta có thể có được một hàm khả năng kết hợp bằng cách nhân khả năng trước đó với khả năng dữ liệu. Thay vào đó, chúng ta có thể chọn biểu diễn thông tin dữ liệu trước thông qua phân phối trước, liên hợp "thông thường" trước là lựa chọn mang lại cho tỷ lệ thuận với khả năng kết hợp ở trên. Xem https://en.wikipedia.org/wiki/Conjugate_p Warrior nơi giải thích này được sử dụng để đưa ra$\text{prior}\times\text{likelihood}$giải thích dữ liệu trước cho các tham số trong các họ liên hợp (thông thường) được liệt kê.

Vì vậy, tóm tắt, các gia đình liên hợp thông thường trong các gia đình theo cấp số nhân có thể được coi là linh mục dẫn đến các phương pháp tuyến tính, hoặc là các linh mục đến từ việc đại diện cho dữ liệu trước đó. Hy vọng câu trả lời mở rộng này sẽ giúp!