Tại sao gia đình không theo cấp số nhân bao gồm tất cả các phân phối?

Tôi đang đọc sách:

Giám mục, nhận dạng mẫu và học máy (2006)

trong đó xác định họ theo cấp số nhân là phân phối của biểu mẫu (Phương trình 2.194):

p (x | η) = h (x) g (η) điểm kinh nghiệm {η^{T} bạn (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Nhưng tôi thấy không có giới hạn nào được đặt trên hoặc . Điều này không có nghĩa là bất kỳ phân phối nào cũng có thể được đặt ở dạng này, bởi sự lựa chọn thích hợp của và (thực tế chỉ có một trong số chúng phải được chọn đúng!)? Vậy tại sao gia đình hàm mũ không bao gồm tất cả các phân phối xác suất? Tôi đang thiếu gì? $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

Cuối cùng, một câu hỏi đặc biệt hơn mà tôi quan tâm là: Phân phối Bernoulli trong gia đình hàm mũ ? Wikipedia tuyên bố là như vậy, nhưng vì rõ ràng tôi đang bối rối về điều gì đó ở đây, tôi muốn xem tại sao.

mathematical-statistics exponential-family

— vẫy
nguồn

để chứng minh rằng phân phối Bernoulli thuộc họ hàm mũ, hãy thử sử dụng thực tế là

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$ và xem nơi nào đưa bạn

— jld

Chỉ cần làm rõ, bạn đang hỏi liệu bất kỳ phân phối có thể được viết trong mẫu này, hoặc liệu bất kỳ gia đình phân phối có thể được viết trong mẫu này? Bạn dường như đã nhận được câu trả lời cho câu hỏi sau.

— Owen

@Owen Vâng, tôi thấy bây giờ đây là điểm quan trọng. Mặc dù bất kỳ phân phối nào cũng có thể được viết ở dạng này (bằng cách đặt

h (x)

$h(\mathbf x)$ một cách thích hợp và

g = 1, u = 0

$g=1,\mathbf u= 0$ ), điều đó không có nghĩa là bất kỳ gia đình nào cũng có thể được viết ở dạng này.

— vẫy gọi

@becko, Điều đó hoàn toàn chính xác. Các cụm từ trong văn bản, "gia đình theo cấp số nhân", có phần sai lệch, bởi vì không chỉ có một gia đình theo cấp số nhân; thay vào đó, mỗi lựa chọn của sẽ tạo ra một gia đình. Thay vào đó, nhiều tác giả nói "một gia đình theo cấp số nhân", làm cho điều này rõ ràng hơn; ví dụ: xem trang Wikipedia: en.wikipedia.org/wiki/Exponential_f Family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko Tôi nghĩ rằng lập luận của bạn cho thấy rằng bất kỳ phân phối nhất định nào cũng có thể là một thành viên của một gia đình theo cấp số nhân, nhưng không phải bất kỳ gia đình phân phối nào cũng có thể là một gia đình theo cấp số nhân.

— Matthew Drury

Câu trả lời:

Chà, một hệ quả của định nghĩa của bạn: là sự hỗ trợ của họ phân phối được lập chỉ mục bởi tham số không phụ thuộc vào . (Sự hỗ trợ của phân phối xác suất là (đóng) ít nhất được đặt với xác suất thứ nhất, hay nói cách khác là nơi phân phối tồn tại .) Vì vậy, đủ để đưa ra một ví dụ về một họ phân phối có hỗ trợ tùy thuộc vào tham số, ví dụ dễ nhất là nhóm phân phối thống nhất sau:

p (x | η) = = h (x) g (η) điểm kinh nghiệm {η^{T} bạn (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . (câu trả lời khác của @Chaconne đưa ra một ví dụ tinh vi hơn).

— kjetil b halvorsen
nguồn

Hãy xem xét phân phối Laplace không trung tâm

f (x; μ, σ) α điểm kinh nghiệm (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

Trừ khi bạn sẽ không thể viếtnhư một sản phẩm bên trong giữa và một số chức năng của . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

Gia đình theo cấp số nhân bao gồm phần lớn các bản phân phối có tên đẹp mà chúng ta thường gặp, vì vậy ban đầu có vẻ như nó có mọi thứ đáng quan tâm, nhưng không có nghĩa là nó là toàn diện.

— jld
nguồn