Ước tính khả năng tối đa EM cho phân phối Weibull

24

Lưu ý: Tôi đang đăng một câu hỏi từ một cựu sinh viên của tôi không thể tự mình đăng bài vì lý do kỹ thuật.

Cho một mẫu iid từ phân phối Weibull với pdf có đại diện biến thiếu hữu ích và do đó thuật toán EM (tối đa hóa kỳ vọng) có thể được sử dụng để tìm MLE của , thay vì sử dụng đơn giản tối ưu hóa số? $x_1,\ldots,x_n$

f_{k} (x) = k x^{k - 1} e^{- x^{k}} x > 0

$f_k(x) = k x^{k-1} e^{-x^k} \quad x>0$

f_{k} (x) = \int_{Z} g_{k} (x, z) d z

$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$

k

$k$

— Tây An
nguồn

2

Có kiểm duyệt không?

— ocram

2

Có gì sai với newton rhapson?

— xác suất

2

@probabilityislogic: không có gì sai với bất cứ điều gì! Học sinh của tôi muốn biết nếu có phiên bản EM, đó là tất cả ...

— Xi'an

1

Bạn có thể đưa ra một ví dụ về những gì bạn đang tìm kiếm trong một bối cảnh khác, đơn giản hơn, ví dụ như có thể với các quan sát về một biến ngẫu nhiên Gaussian hoặc thống nhất? Khi tất cả các dữ liệu được quan sát, tôi (và một số người đăng khác, dựa trên nhận xét của họ) không thấy EM có liên quan đến câu hỏi của bạn như thế nào.

— ahfoss

1

@probabilityislogic Tôi nghĩ bạn nên nói, "Ồ, ý bạn là bạn muốn SỬ DỤNG Newton Raphson?". Weibull là những gia đình bình thường ... Tôi nghĩ, vì vậy các giải pháp ML là duy nhất. Do đó, EM không có gì để "E" hơn, vì vậy bạn chỉ cần "M" ing ... và tìm ra các gốc của phương trình điểm là cách tốt nhất để làm điều đó!

— AdamO

7

Tôi nghĩ rằng câu trả lời là có, nếu tôi đã hiểu chính xác câu hỏi.

Viết . Sau đó, một EM loại thuật toán lặp lại, bắt đầu với ví dụ , là $z_i = x_i^k$ $\hat k = 1$

E ${\hat z}_i = x_i^{\hat k}$
M $\hat k = \frac{n}{\left[\sum({\hat z}_i - 1)\log x_i\right]}$

Đây là trường hợp đặc biệt (trường hợp không có kiểm duyệt và không có đồng biến) của phép lặp được đề xuất cho các mô hình mối nguy theo tỷ lệ Weibull của Aitkin và Clayton (1980). Nó cũng có thể được tìm thấy trong Phần 6.11 của Aitkin et al (1989).

Aitkin, M. và Clayton, D., 1980. Sự phù hợp của các phân phối giá trị theo cấp số nhân, Weibull và cực trị đối với dữ liệu sinh tồn bị kiểm duyệt phức tạp sử dụng GLIM. Thống kê áp dụng , tr.156-163.
Aitkin, M., Anderson, D., Francis, B. và Hinde, J., 1989. Mô hình thống kê trong GLIM . Nhà xuất bản Đại học Oxford. Newyork.

— DavidF
nguồn

Cảm ơn David rất nhiều! Coi

là phương sai còn thiếu không bao giờ vượt qua tâm trí tôi ...!

x_{i}^{k}

$x_i^k$

— Tây An

7

Các Weibull MLE là chỉ số lượng có thể giải quyết:

Hãy với

f_{λ, β} (x) = {\begin{cases} \frac{β}{λ} {(\frac{x}{λ})}^{β - 1} e^{- {(\frac{x}{λ})}^{β}} & , x \geq 0 \\ 0 & , x < 0 \end{cases}

$f_{\lambda,\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{cases}$

.

β, λ > 0

$\beta,\,\lambda>0$

1) Likelihoodfunction :

L_{\hat{x}} (λ, β) = \prod_{i = 1}^{N} f_{λ, β} (x_{i}) = \prod_{i = 1}^{N} \frac{β}{λ} {(\frac{x_{i}}{λ})}^{β - 1} e^{- {(\frac{x_{i}}{λ})}^{β}} = \frac{β^{N}}{λ^{N β}} e^{- \sum_{i = 1}^{N} {(\frac{x_{i}}{λ})}^{β}} \prod_{i = 1}^{N} x_{i}^{β - 1}

$\mathcal{L}_{\hat{x}}(\lambda, \beta) =\prod_{i=1}^N f_{\lambda,\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1}$

log-Likelihoodfunction :

ℓ_{\hat{x}} (λ, β) := \ln L_{\hat{x}} (λ, β) = N \ln β - N β \ln λ - \sum_{i = 1}^{N} {(\frac{x_{i}}{λ})}^{β} + (β - 1) \sum_{i = 1}^{N} \ln x_{i}

$\ell_{\hat{x}}(\lambda, \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda, \beta)=N\ln \beta-N\beta\ln \lambda-\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i$

2) Vấn đề MLE : 3) Tối đa hóabằngNâng cấp:

\begin{aligned} max_{(λ, β) \in R^{2}} & ℓ_{\hat{x}} (λ, β) \\ s.t. λ > 0 \\ β > 0 \end{aligned}

$\begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{equation*}$

0

$0$

Nó sau:

\begin{aligned} \frac{\partial l}{\partial λ} & = - N β \frac{1}{λ} + β \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β + 1}} & \overset{!}{=} 0 \\ \frac{\partial l}{\partial β} & = \frac{N}{β} - N \ln λ - \sum_{i = 1}^{N} \ln (\frac{x_{i}}{λ}) e^{β \ln (\frac{x_{i}}{λ})} + \sum_{i = 1}^{N} \ln x_{i} & \overset{!}{=} 0 \end{aligned}

$\begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*}$

\begin{aligned} - N β \frac{1}{λ} + β \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β + 1}} & = 0 \\ - β \frac{1}{λ} N + β \frac{1}{λ} \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β}} & = 0 \\ - 1 + \frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β}} & = 0 \\ \frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β} & = λ^{β} \end{aligned}

$\begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*}$

\Rightarrow λ^{*} = {(\frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β^{*}})}^{\frac{1}{β^{*}}}

$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$

Cắm vào tình trạng 0 gradient thứ hai: $\lambda^*$

\begin{aligned} \Rightarrow β^{*} = {[\frac{\sum_{i = 1}^{N} x_{i}^{β^{*}} \ln x_{i}}{\sum_{i = 1}^{N} x_{i}^{β^{*}}} - \bar{\ln x}]}^{- 1} \end{aligned}

$\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}$

$\hat{\beta}^*$ $\lambda^*$

— emcor
nguồn

11

Thật không may, điều này dường như không trả lời câu hỏi theo bất kỳ cách rõ ràng nào. OP nhận thức rất rõ về Newton-Raphson và các phương pháp liên quan. Tính khả thi của NR không có cách nào ngăn cản sự tồn tại của biểu diễn biến thiếu hoặc thuật toán EM liên quan. Theo ước tính của tôi, câu hỏi hoàn toàn không liên quan đến các giải pháp số, mà là tìm hiểu về cái nhìn sâu sắc có thể trở nên rõ ràng nếu một cách tiếp cận biến thiếu thú vị đã được chứng minh.

— Đức hồng y

@cardinal Có một điều để nói là chỉ có giải pháp số, và một điều nữa cho thấy chỉ có giải pháp số.

— emcor

5

Gửi @emcor, tôi nghĩ bạn có thể đang hiểu nhầm câu hỏi đang hỏi. Có lẽ xem xét các câu trả lời khác và dòng bình luận liên quan sẽ hữu ích. Chúc mừng.

— Đức hồng y

@cardinal Tôi đồng ý rằng đây không phải là câu trả lời trực tiếp, nhưng đó là biểu thức chính xác cho ví dụ của MLE có thể được sử dụng để xác minh EM.

— emcor

4

Mặc dù đây là một câu hỏi cũ, nhưng có vẻ như có một câu trả lời trong một bài báo được xuất bản ở đây: http://home.iitk.ac.in/~kundu/interval-censoring-REVISED-2.pdf

Trong công việc này, việc phân tích dữ liệu bị kiểm duyệt giữa chừng, với phân phối Weibull là phân phối trọn đời cơ bản đã được xem xét. Giả định rằng cơ chế kiểm duyệt là độc lập và không có thông tin. Như mong đợi, các ước tính khả năng tối đa không thể có được ở dạng đóng. Trong các thí nghiệm mô phỏng của chúng tôi, người ta nhận thấy rằng phương pháp Newton-Raphson có thể không hội tụ nhiều lần. Một thuật toán tối đa hóa kỳ vọng đã được đề xuất để tính toán các ước lượng khả năng tối đa và nó hội tụ gần như mọi lúc.

— người dùng3204720
nguồn

1

Bạn có thể đăng một trích dẫn đầy đủ cho bài báo tại liên kết, trong trường hợp nó bị chết?

— gung - Phục hồi Monica

1

Đây là một thuật toán EM, nhưng không làm những gì tôi tin rằng OP muốn. Thay vào đó, bước E áp đặt dữ liệu bị kiểm duyệt, sau đó bước M sử dụng thuật toán điểm cố định với bộ dữ liệu hoàn chỉnh. Vì vậy, bước M không ở dạng đóng (mà tôi nghĩ là những gì OP đang tìm kiếm).

— Vách đá AB

1

@CliffAB: cảm ơn bạn về liên kết (+1) nhưng thực sự EM được tạo ra một cách tự nhiên trong bài báo này bởi phần kiểm duyệt. Học sinh cũ của tôi đang tìm kiếm một tối ưu hóa khả năng iid Weibull không bị kiểm duyệt thông qua EM.

— Tây An

-1

Trong trường hợp này, các công cụ ước tính MLE và EM là tương đương, vì công cụ ước tính MLE thực sự chỉ là một trường hợp đặc biệt của công cụ ước tính EM. (Tôi giả sử một khuôn khổ thường xuyên trong câu trả lời của tôi; điều này không đúng với EM trong bối cảnh Bayes mà chúng ta đang nói về MAP). Vì không có dữ liệu bị thiếu (chỉ là một tham số không xác định), bước E chỉ đơn giản trả về khả năng ghi nhật ký, bất kể bạn chọn gì $k^{(t)}$ . Bước M sau đó tối đa hóa khả năng đăng nhập, mang lại MLE.

EM would be applicable, for example, if you had observed data from a mixture of two Weibull distributions with parameters $k_1$ and $k_2$ , but you didn't know which of these two distributions each observation came from.

— ahfoss
nguồn

6

I think you may have misinterpreted the point of the question, which is: Does there exist some missing-variable interpretation from which one would obtain the given Weibull likelihood (and which would allow an EM-like algorithm to be applied)?

— cardinal

4

The question statement in @Xi'an's post is quite clear. I think the reason it hasn't been answered is because any answer is likely nontrivial. (It's interesting, so I wish I had more time to think about it.) At any rate, your comment appears to betray a misunderstanding of the EM algorithm. Perhaps the following will serve as an antidote:

— cardinal

6

Let

f (x) = π φ (x - μ_{1}) + (1 - π) φ (x - μ_{2})

$f(x) = \pi \varphi(x-\mu_1) + (1-\pi) \varphi(x-\mu_2)$ where

φ

$\varphi$ is the standard normal density function. Let

F (x) = \int_{- \infty}^{x} f (u) d u

$F(x) = \int_{-\infty}^x f(u)\,\mathrm{d}u$ . With

U_{1}, \dots, U_{n}

$U_1,\ldots,U_n$ iid standard uniform, take

X_{i} = F^{- 1} (U_{i})

$X_i = F^{-1}(U_i)$ . Then,

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$ is a sample from a Gaussian mixture model. We can estimate the parameters by (brute-force) maximum likelihood. Is there any missing data in our data-generation process? No. Does it have a latent-variable representation allowing for the use of an EM algorithm? Yes, absolutely.

— cardinal

4

My apologies @cardinal; I think I have misunderstood two things about your latest post. Yes, in the GMM problem you could search

R^{2} \times [0, 1]

$\mathbb{R}^2 \times [0,1]$ via a brute force ML approach. Also, I now see that the original problem looks for a solution that involves introducing a latent variable that allows for an EM approach to estimating the parameter

k

$k$ in the given density

k x^{k - 1} e^{- x^{k}}

$k x^{k-1}e^{-x^k}$ . An interesting problem. Are there any examples of using EM like this in such a simple context? Most of my exposure to EM has been in the context of mixture problems and data imputation.

— ahfoss

3

@ahfoss: (+1) to your latest comment. Yes! You got it. As for examples: (i) it shows up in censored data problems, (ii) classical applications like hidden Markov models, (iii) simple threshold models like probit models (e.g., imagine observing the latent

Z_{i}

$Z_i$ instead of Bernoulli

X_{i} = 1_{(Z_{i} > μ)}

$X_i = \mathbf{1}_{(Z_i > \mu)}$ ), (iv) estimating variance components in one-way random effects models (and much more complex mixed models), and (v) finding the posterior mode in a Bayesian hierarchical model. The simplest is probably (i) followed by (iii).

— cardinal