Ước tính khả năng tối đa cho một phân phối bị cắt ngắn

Xem xét $N$ mẫu độc lập $S$ thu được từ một biến ngẫu nhiên $X$ được giả sử tuân theo phân phối cắt ngắn (ví dụ phân phối chuẩn bị cắt ngắn ) của các giá trị tối thiểu và hữu hạn đã biết (hữu hạn) $a$ và $b$ nhưng với các tham số chưa biết $\mu$ và $\sigma^2$ . Nếu $X$ theo một phân bố không cắt ngắn, những ước lượng tối đa khả năng và cho và từ sẽ là giá trị trung bình mẫu $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ và phương sai mẫu $\widehat\mu = \frac{1}{N} \sum_i S_i$ . Tuy nhiên, đối với một phân phối cắt ngắn, phương sai mẫu được xác định theo cách này được giới hạn bởinên nó không phải là luôn luôn là một ước lượng phù hợp: cho, nó không thể hội tụ trong xác suất đểkhiđi đến vô cùng. Vì vậy, có vẻ như rằng vàkhông phải là ước lượng tối đa-khả năng $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ và cho phân phối cắt ngắn. Tất nhiên, điều này được mong đợi vì các tham số và của phân phối chuẩn bị cắt không phải là giá trị trung bình và phương sai của nó. $\sigma^2$ $\mu$ $\sigma^2$

Vì vậy, ước lượng khả năng tối đa của là gì và thông số của một phân phối cắt ngắn tối thiểu tiếng và giá trị tối đa? $\mu$ $\sigma$

— a3nm
nguồn

Bạn có chắc chắn về phân tích của bạn? Tôi nghĩ rằng bạn đang làm cho một giả định hợp lệ: cho tình hình cắt ngắn, các MLE của

là không còn phương sai mẫu (và, nói chung, các MLE của

là không còn giá trị trung bình mẫu)!

σ^{2}

$\sigma^2$

μ

$\mu$

— whuber

whuber: Tôi biết, đây chính là câu hỏi của tôi: các MLEs của là gì

và

trong trường hợp cắt ngắn? Thêm một câu để nhấn mạnh vào điều này.

σ^{2}

$\sigma^2$

μ

$\mu$

— a3nm

Không có một giải pháp dạng kín. Tất cả những gì bạn có thể làm là giảm thiểu số lượng khả năng đăng nhập. Nhưng điều này về mặt chất lượng không khác gì nhiều mô hình khác, chẳng hạn như hồi quy logistic, cũng không có giải pháp dạng đóng.

— whuber

whuber: Nếu điều này là sự thật, điều này khá đáng thất vọng. Bạn có tài liệu tham khảo về việc thiếu các giải pháp hình thức đóng? Có các công cụ ước tính dạng đóng không có khả năng tối đa nhưng ít nhất là nhất quán (và tùy ý không thiên vị?).

— a3nm

@whuber: Ít nhất bạn có thể đơn giản hóa các mẫu của mình thành số liệu thống kê đầy đủ để việc giảm thiểu nhanh chóng không?

— Neil G

Xem xét bất kỳ gia đình quy mô địa điểm nào được xác định bởi phân phối "tiêu chuẩn" , $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

Giả sử khác biệt, chúng ta dễ dàng thấy rằng các tệp PDF là $F$ . $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

Cắt bỏ những phân phối để hạn chế sự ủng hộ của họ giữa và , , phương tiện mà các file PDF được thay thế bằng $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

(và không cho tất cả các giá trị khác của ), nơi là yếu tố bình thường cần thiết để đảm bảo rằng tích hợp vào sự thống nhất. (Lưu ý rằng giống hệt $x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ trong trường hợp không cắt ngắn.) Do đó khả năng đăng nhập cho dữ liệu iid là $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

Critical points (including any global minima) are found where either $\sigma=0$ (a special case I will ignore here) or the gradient vanishes. Using subscripts to denote derivatives, we may formally compute the gradient and write the likelihood equations as

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{i} [\frac{- f_{σ} (\frac{x_{i} - μ}{σ})}{σ^{2} f (\frac{x_{i} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

Because $a$ and $b$ are fixed, drop them from the notation and write $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ as $A(\mu,\sigma)$ and $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ as $B(\mu, \sigma)$ . (With no truncation, both functions would be identically zero.) Separating the terms involving the data from the rest gives

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

By comparing these to the no-truncation situation it is evident that

Any sufficient statistics for the original problem are sufficient for the truncated problem (because the right hand sides have not changed).
Our ability to find closed-form solutions relies on the tractability of $A$ and $B$ . If these do not involve $\mu$ and $\sigma$ in simple ways, we cannot hope to obtain closed-form solutions in general.

For the case of a normal family, $C(\mu,\sigma,a,b)$ of course is given by the cumulative normal PDF, which is a difference of error functions: there is no chance that a closed-form solution can be obtained in general. However, there are only two sufficient statistics (the sample mean and variance will do) and the CDF is as smooth as can be, so numerical solutions will be relatively easy to obtain.

— whuber
nguồn

Thanks a lot for this very detailed answer! I'm not sure I get what

f_{μ}

$f_\mu$ ,

f_{σ}

$f_\sigma$ ,

C_{μ}

$C_\mu$ , and

C_{σ}

$C_\sigma$ are, could you define them? Also, it's obvious but to be precise maybe you could say that your expression for the pdf is for

x \in [a, b]

$x \in [a, b]$ (and the pdf is zero outside of that). Thanks again!

— a3nm

The usual longer notation is

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$ , etc: as announced, it is a derivative. I will make the second change you suggest because it's an important clarification, thanks.

— whuber

Also, since your answer is more general than the one I expected, I edited my question to insist less on the case of normal distributions. Thanks again for your effort.

— a3nm

It was easier to explain at this level of generality compared to focusing on the Normal distributions! Computing the derivatives and showing the precise form of the CDF are unnecessary distractions (although useful when you start actually coding the numerical solution).

— whuber

Thanks for fixing! You missed one of them; could you review my edit?

— a3nm