Ưu điểm của gia đình hàm mũ: tại sao chúng ta nên nghiên cứu và sử dụng nó?

Vì vậy, ở đây tôi đang nghiên cứu suy luận. Tôi muốn rằng ai đó có thể liệt kê những lợi thế của gia đình theo cấp số nhân. Theo họ hàm mũ, ý tôi là các phân phối được cho là

\begin{aligned} f (x | θ) = h (x) \exp {η (θ) T (x) - B (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

hỗ trợ mà không phụ thuộc vào các tham số $\theta$ . Dưới đây là một số lợi thế tôi tìm ra:

(a) Nó kết hợp nhiều loại phân phối.

(b) Nó cung cấp một số liệu thống kê đủ tự nhiên $T(x)$ theo định lý Neyman-Fisher.

(d) Nó giúp dễ dàng tách rời mối quan hệ giữa phản hồi và yếu tố dự đoán khỏi phân phối có điều kiện của phản hồi (thông qua các chức năng liên kết).

Bất cứ ai có thể cung cấp bất kỳ lợi thế khác?

self-study exponential-family

— người dùng1337
nguồn

để đảm bảo tính tổng quát của các câu trả lời: có bất kỳ bản PDF hữu ích nào không thuộc họ hàm mũ không?

— meduz

Câu trả lời:

... tại sao chúng ta nên nghiên cứu nó và sử dụng nó?

Tôi nghĩ rằng danh sách các lợi thế của bạn trả lời hiệu quả câu hỏi của riêng bạn, nhưng hãy để tôi đưa ra một số bình luận siêu toán học có thể làm sáng tỏ chủ đề này. Nói chung, các nhà toán học thích khái quát hóa các khái niệm và kết quả đến điểm tối đa mà họ có thể, đến giới hạn của tính hữu dụng của họ. Đó là, khi các nhà toán học phát triển một khái niệm và thấy rằng một hoặc nhiều định lý hữu ích áp dụng cho khái niệm đó, họ thường sẽ tìm cách khái quát hóa khái niệm và kết quả ngày càng nhiều, cho đến khi họ khái quát hóa hơn nữa sẽ đưa ra kết quả không thể áp dụng hoặc không còn hữu ích. Như có thể thấy từ danh sách của bạn, gia đình hàm mũ có một số định lý hữu ích kèm theo nó, và nó bao gồm một lớp phân phối rộng. Điều này là đủ để làm cho nó trở thành một đối tượng nghiên cứu xứng đáng, và một lớp toán học hữu ích trong thực tế.

Bất cứ ai có thể cung cấp bất kỳ lợi thế khác?

Lớp này có nhiều tính chất tốt khác nhau trong phân tích Bayes. Cụ thể, các phân phối gia đình theo cấp số nhân luôn có các linh mục liên hợp và phân phối dự báo sau có kết quả đơn giản. Điều này làm cho một lớp phân phối cực kỳ hữu ích trong thống kê Bayes. Thật vậy, nó cho phép bạn thực hiện phân tích Bayes bằng cách sử dụng các linh mục liên hợp ở mức độ tổng quát cực cao, bao gồm tất cả các gia đình phân phối trong gia đình hàm mũ.

— Phục hồi
nguồn

Tôi thứ hai đề cử "liên hợp trước" như một lý do để thích gia đình theo cấp số nhân. Thật vậy, các linh mục liên hợp và số liệu thống kê đầy đủ chơi rất tốt với nhau, vì vậy cùng nhau họ sẽ đứng đầu danh sách lý do của tôi để sử dụng gia đình theo cấp số nhân.

— Peter Leopold

À! Một đồng bào Bayes tôi thấy!

— Phục hồi

Làm thế nào để bạn biết dự đoán sau có một hình thức đơn giản? Ví dụ, dự đoán sau của một mô hình bình thường với giá trị trung bình và phương sai không xác định là không trung tính, tỷ lệ của học sinh T. Đó có phải là một hình thức đơn giản không?

— Neil G

@Neil G: Với dữ liệu IID từ một gia đình hàm mũ và liên hợp trước, phân phối dự đoán là tỷ lệ của hai trường hợp của hàm chuẩn hóa cho trước, trong đó các đối số mẫu số được cập nhật bằng cách thêm số liệu thống kê và số lượng quan sát đủ cho dữ liệu mới. Đây là một hình thức đơn giản và tổng quát cho phân phối dự đoán, có được bằng cách tìm hệ số chuẩn hóa cho phép chia trước (xem ví dụ mục 9.0.5 của các ghi chú này ).

— Phục hồi

Được rồi, tôi hiểu rồi. Tôi chưa bao giờ thấy điều này trước đây, cảm ơn.

— Neil G

Tôi muốn nói rằng động lực hấp dẫn nhất đối với các gia đình theo cấp số nhân là họ là phân phối giả định tối thiểu cho các phép đo . Nếu bạn có một cảm biến có giá trị thực mà các phép đo được tóm tắt bằng giá trị trung bình và phương sai, thì giả định tối thiểu bạn có thể đưa ra về các quan sát của nó là chúng được phân phối bình thường. Mỗi gia đình hàm mũ là kết quả của một nhóm các giả định tương tự.

Jaynes chống lại nguyên tắc entropy tối đa này:

Sự phân phối entropy tối đa có thể được khẳng định vì lý do tích cực rằng nó được xác định duy nhất là một phân phối tối đa không liên quan đến thông tin bị thiếu, thay vì tiêu cực mà không có lý do nào để nghĩ khác. Do đó, khái niệm entropy cung cấp tiêu chí còn thiếu của sự lựa chọn

— Neil G
nguồn