Những phân phối nào có giải pháp dạng đóng để ước tính khả năng tối đa?

21

Những phân phối nào có giải pháp dạng đóng cho ước tính khả năng tối đa của các tham số từ một mẫu quan sát độc lập?

distributions mathematical-statistics maximum-likelihood

25

Không có bất kỳ sự mất mát đáng kể nào về tính tổng quát, chúng tôi có thể giả sử rằng mật độ xác suất (hoặc khối lượng) cho bất kỳ quan sát nào (trong số quan sát) là hoàn toàn tích cực, cho phép chúng tôi viết nó theo cấp số nhân $f(x_i)$ $x_i$ $n$

f (x_{i}) = \exp (g (x_{i}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

cho một tham số vector . $\theta = (\theta_j)$

Việc cân bằng độ dốc của hàm khả năng ghi nhật ký bằng 0 (tìm thấy các điểm dừng của khả năng, trong số đó sẽ là tất cả các cực đại bên trong toàn cầu nếu tồn tại) đưa ra một bộ phương trình có dạng

\sum_{i} \frac{d g (x_{i}, θ)}{d θ_{j}} = 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

một cho mỗi . Đối với bất kỳ một trong số này để có một giải pháp sẵn sàng, chúng tôi muốn có thể tách $j$ $x_i$ về từ ngữ $\theta$ . (Mọi thứ xuất phát từ ý tưởng quan trọng này, được thúc đẩy bởi Nguyên tắc của sự lười biếng toán học : làm càng ít việc càng tốt; suy nghĩ trước khi tính toán; giải quyết các phiên bản dễ của các vấn đề khó trước.) Cách thức chung nhất để thực hiện là phương trình hình thức

\sum_{i} (η_{j} (θ) τ_{j} (x_{i}) - α_{j} (θ)) = η_{j} (θ) \sum_{i} τ_{j} (x_{i}) - n α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

cho các chức năng được biết đến , , và , vì lúc đó các giải pháp thu được bằng cách giải các phương trình đồng thời $\eta_j$ $\tau_j$ $\alpha_j$

\frac{n α_{j} (θ)}{η_{j} (θ)} = \sum_{i} τ_{j} (x_{i})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

cho . Nói chung, những điều này sẽ khó giải quyết, nhưng cung cấp tập hợp các giá trị của $\theta$ cung cấp thông tin đầy đủ về, chúng tôi chỉ đơn giản là có thể sử dụng vector nàyở vị trí củabản thân (do đó phần nào khái quát hóa ý tưởng về một "hình thức đóng cửa" giải pháp, nhưng theo một cách rất hiệu quả). Trong trường hợp như vậy, tích hợp liên quan đếnnăng suất $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

g (x, θ) = τ_{j} (x) \int^{θ} η_{j} (θ) d θ_{j} - \int^{θ} α_{j} (θ) d θ_{j} + B (x, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(nơi là viết tắt của tất cả các thành phần của trừ ). Vì phía bên trái độc lập về chức năng với , nên chúng ta phải có cho một số hàm cố định ; rằng không phụ thuộc vào ; và là dẫn xuất của một số chức năng và được dẫn xuất của một số chức năng khác $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ , cả hai đều hoạt động độc lập với dữ liệu. Từ đâu $A(\theta)$

g (x, θ) = H (θ) T (x) - A (θ) + B (x) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

Mật độ có thể được viết trong hình thức này tạo nên gia đình nổi tiếng Koopman-Pitman-Darmois , hoặc theo cấp số nhân . Nó bao gồm các gia đình tham số quan trọng, cả liên tục và rời rạc, bao gồm Gamma, Bình thường, Chi bình phương, Poisson, Đa thức, và nhiều người khác .

— whuber
nguồn

Và đối với những người không có biểu mẫu đóng, chúng tôi có thể sử dụng Thuật toán EM. Ví dụ: hãy xem xét mô-đun poisson không bị thổi phồng: stats.stackexchange.com/questions/32133/ gợi

— Damien

0

Tôi không biết nếu tôi có thể liệt kê tất cả. Các số mũ, bình thường và nhị thức xuất hiện trong tâm trí và tất cả họ đều rơi vào lớp các gia đình theo cấp số nhân. Gia đình hàm mũ có số liệu thống kê đầy đủ theo cấp số nhân và mle thường là một chức năng tốt đẹp của thống kê đầy đủ này.

— Michael R. Chernick
nguồn

8

Câu hỏi này rất rộng nhưng có vẻ như OP có thể đang hỏi điều gì đặc trưng cho phân phối có giải pháp dạng đóng cho MLE thay vì yêu cầu danh sách đầy đủ. Trong mọi trường hợp, một danh sách đầy đủ thậm chí không thể.

— Macro

2

Nó không phải luôn luôn là một "chức năng tốt", ví dụ, thống kê đầy đủ về phân phối beta là

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$ , từ đó các phương thức số được yêu cầu để tìm các tham số hình dạng

a

$a$ và

b

$b$ .

— Neil G

Thnaks Neil đã chỉ ra điều đó. Tôi đoán không phải tất cả các phân phối gia đình theo cấp số nhân đều có giải pháp dạng đóng.

— Michael R. Chernick