Làm thế nào để làm cho một ma trận tích cực xác định?

Tôi đang cố gắng thực hiện thuật toán EM cho mô hình phân tích nhân tố sau;

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

Trong đó là vectơ ngẫu nhiên p chiều, là vectơ q chiều của các biến tiềm ẩn và là ma trận pxq của các tham số. $W_j$ $a_j$ $B$

Theo kết quả của các giả định khác sử dụng cho các mô hình, tôi biết rằng nơi là phương sai hiệp phương sai ma trận của lỗi thuật ngữ , = diag ( , , ..., ). $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

Đối với các thuật toán EM làm việc, tôi đang làm lặp vòm liên quan đến dự toán và ma trận và trong những lần lặp Tôi đang tính toán nghịch đảo của tại mỗi lần lặp sử dụng ước tính mới của và . Đáng tiếc là trong quá trình lặp đi lặp lại, mất tính xác định dương tính của nó (nhưng nó không nên vì nó là một ma trận hiệp phương sai sai-) và tình trạng này di tích sự hội tụ của thuật toán. Câu hỏi của tôi là: $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

Có phải tình huống này cho thấy có điều gì đó không đúng với thuật toán của tôi vì khả năng sẽ tăng lên ở mỗi bước của EM?
Các cách thực tế để làm cho một ma trận tích cực xác định là gì?

Chỉnh sửa: Tôi đang tính toán nghịch đảo bằng cách sử dụng bổ đề nghịch đảo ma trận trong đó nêu rõ:

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

nơi phía bên phải chỉ liên quan đến các phần tử nghịch đảo của ma trận. $q\times q$

factor-analysis expectation-maximization

— Andy Amos
nguồn

B B^{'} + D

$BB'+D$

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

Điều này có liên quan đến câu hỏi này: stats.stackexchange.com/questions/6364/ trên

— Gilead

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

$B$ $q$ $q<p$

$A^{-1}b$ $Ax=b$

$D$ $BB'$ $D$ $D$ $BB'+D$ $D$

$\sigma^2_i$ $D$

$BB'+D$

— JMS
nguồn

Hãy để tôi thứ hai rằng trong phần chính của các thuật toán, bạn không bao giờ muốn thực sự đảo ngược một ma trận. Bạn có thể cần phải đến cuối cùng để có được các ước tính tiêu chuẩn mặc dù. Xem bài đăng trên blog này johndcook.com/blog/2010/01/19/dont-invert-that-matrix

— Samsdram

Các giá trị của ma trận D ngày càng nhỏ hơn khi số lần lặp tăng lên. Có lẽ đây là vấn đề như bạn đã chỉ ra.

— Andy Amos

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$

— JMS