Lý do đằng sau gia đình phân phối theo cấp số nhân là gì?

Từ khóa học xác suất cơ bản, các phân phối xác suất như Gaussian, Poisson hoặc hàm mũ đều có động lực tốt. Sau khi nhìn chằm chằm vào công thức phân phối gia đình theo cấp số nhân trong một thời gian dài, tôi vẫn không nhận được bất kỳ trực giác nào.

Bất cứ ai có thể giúp tôi hiểu tại sao chúng ta cần nó ở nơi đầu tiên? Một số lợi thế của việc mô hình hóa một biến phản ứng là gia đình theo cấp số nhân so với bình thường là gì?

EDIT: Theo gia đình hàm mũ, tôi có nghĩa là lớp phân phối chung được mô tả ở đây .

Một số lợi thế của việc mô hình hóa một biến phản ứng là gia đình theo cấp số nhân so với bình thường là gì?

1. Gia đình hàm mũ rộng hơn nhiều so với bình thường. Ví dụ, lợi thế của việc sử dụng Poisson hoặc nhị thức thay vì bình thường là gì? Một bình thường không được sử dụng nhiều nếu bạn có số lượng trung bình thấp. Điều gì về nếu dữ liệu của bạn liên tục nhưng rất sai lệch - có thể là thời gian hoặc số tiền? Gia đình hàm mũ bao gồm bình thường, nhị thức, Poisson và Gamma là trường hợp đặc biệt (trong số nhiều người khác)

2. Nó kết hợp nhiều mối quan hệ khác nhau - có nghĩa là .

3. Nó xuất phát từ việc cố gắng trả lời một câu hỏi dọc theo dòng chữ "phân phối nào là chức năng của một thống kê đầy đủ ", và các mô hình có thể được ước tính thông qua ML bằng cách sử dụng số liệu thống kê đủ đơn giản; điều này bao gồm các mô hình thông thường có sẵn trong các chương trình phù hợp với các mô hình tuyến tính tổng quát. Thật vậy, thống kê đầy đủ ( ) là rõ ràng trong hàm mật độ gia đình hàm mũ.$T(x)$

4. Nó giúp dễ dàng tách rời mối quan hệ giữa phản hồi và yếu tố dự đoán khỏi phân phối có điều kiện của phản hồi (thông qua các chức năng liên kết). Ví dụ, bạn có thể điều chỉnh mối quan hệ đường thẳng với mô hình chỉ định phản hồi có điều kiện có phân phối gamma hoặc mối quan hệ theo cấp số nhân với phản hồi Gaussian có điều kiện trong khung GLM.

Đối với người Bayes, gia đình theo cấp số nhân khá thú vị bởi vì tất cả các thành viên của gia đình theo cấp số nhân đều có các linh mục liên hợp.

Đối với tôi, động lực chính đằng sau các phân phối gia đình theo cấp số nhân là họ là các gia đình phân phối entropy tối đa được cung cấp một bộ số liệu thống kê đầy đủ và hỗ trợ. Nói cách khác, chúng là phân phối giả định tối thiểu.

Ví dụ: nếu bạn chỉ đo trung bình và phương sai của đại lượng có giá trị thực, lựa chọn mô hình giả định ít nhất là phân phối bình thường.

Từ quan điểm tính toán, có những lợi thế khác:

• Chúng được đóng lại dưới "sự kết hợp bằng chứng". Đó là, sự kết hợp của hai khả năng độc lập từ cùng một gia đình hàm mũ luôn nằm trong cùng một hàm mũ và các tham số tự nhiên của nó chỉ đơn thuần là tổng các tham số tự nhiên của các thành phần. Điều này là thuận tiện cho thống kê Bayes.

• Độ dốc của entropy chéo giữa hai phân bố gia đình hàm mũ là sự khác biệt của các tham số kỳ vọng của chúng. Điều này có nghĩa là hàm mất mát là một entropy chéo như vậy được gọi là hàm mất khớp phù hợp , thuận tiện cho việc tối ưu hóa.

Danh sách của Glen là tốt. Tôi sẽ thêm 1 ứng dụng nữa để bổ sung cho câu trả lời của anh ấy: dẫn xuất các linh mục liên hợp cho suy luận Bayes.

Một phần cốt lõi của suy luận Bayes là dẫn xuất các phân phối sau . Có trước liên hợp với khả năng có nghĩa là sau và trước sẽ thuộc cùng một loại phân phối xác suất.$p(\theta|y) \propto p(y|\theta) p(\theta)$$p(\theta)$$p(y|\theta)$$p(y|\theta)$$p(\theta)$

Thuộc tính hữu ích mà tôi đang đề cập là, vì khả năng quan sát được rút ra từ một họ hàm mũ một tham số của mẫu$n$

$p(y_1,\ldots,y_n|\theta) = \prod p(y_i|\theta) \propto g(\theta)^n \exp \big[ h(\theta) \sum t(y_i) \big]$ ,

chúng ta chỉ cần viết ra một liên hợp trước

$p(\theta) \propto g(\theta)^\nu \big[ h(\theta) \delta \big]$

và sau đó các hậu thế hoạt động như

$p(\theta|y_1,\ldots,y_n) \propto g(\theta)^{n+\nu} \exp \big[ h(\theta) \big( \sum t(y_i) + \delta \big) \big]$

Tại sao liên hợp này hữu ích? Bởi vì nó đơn giản hóa cả giải thích và tính toán của chúng tôi trong khi thực hiện suy luận Bayes. Điều đó cũng có nghĩa là chúng ta có thể dễ dàng đưa ra các biểu thức phân tích cho hậu thế mà không phải làm quá nhiều đại số.

Bạn muốn mô hình dữ liệu của bạn phản ánh quá trình tạo. Các biến Gaussian tạo ra 'quá trình' có các đặc điểm rất khác so với quy tắc theo cấp số nhân và không phải lúc nào cũng trực quan như tại sao. Đôi khi bạn cần đánh giá cao các đặc điểm phân phối khác. Lấy một ví dụ, xem xét rằng hàm nguy hiểm cho Gaussian đang tăng lên trong khi hàm mũ là phẳng. Như một ví dụ thực tế, giả sử Im sẽ chọc bạn trong các khoảng thời gian và 'khoảng thời gian chọc' sẽ được chọn bởi Gaussian hoặc hàm tạo hàm mũ. Theo một Gaussian, bạn sẽ thấy rằng các cú chọc là có thể dự đoán được và cảm thấy rất có khả năng sau những khoảng thời gian dài. Theo cấp số nhân, họ sẽ cảm thấy rất khó lường. Lý do cho điều này là do chức năng tạo, phụ thuộc vào hiện tượng cơ bản.