Làm thế nào để đảm bảo các thuộc tính của ma trận hiệp phương sai khi điều chỉnh mô hình bình thường đa biến bằng khả năng tối đa?

22

Giả sử tôi có mô hình sau

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

Trong đó , là một vectơ của các biến giải thích, là các tham số của hàm phi tuyến tính và , trong đó tự nhiên là ma trận $y_i\in \mathbb{R}^K$ $x_i$ $\theta$ $f$ $\varepsilon_i\sim N(0,\Sigma)$ $\Sigma$ $K\times K$

Mục tiêu là thông thường để ước tính $\theta$ và $\Sigma$ . Sự lựa chọn rõ ràng là phương pháp khả năng tối đa. Khả năng đăng nhập cho mô hình này (giả sử chúng ta có một mẫu $(y_i,x_i),i=1,...,n$ ) trông giống như

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

Bây giờ điều này có vẻ đơn giản, khả năng đăng nhập được chỉ định, đưa vào dữ liệu và sử dụng một số thuật toán để tối ưu hóa phi tuyến tính. Vấn đề là làm thế nào để đảm bảo rằng $\Sigma$ là xác định dương. Sử dụng ví dụ optimtrong R (hoặc bất kỳ thuật toán tối ưu phi tuyến tính nào khác) sẽ không đảm bảo với tôi rằng $\Sigma$ là xác định dương.

Vì vậy, câu hỏi là làm thế nào để đảm bảo rằng $\Sigma$ vẫn tích cực xác định? Tôi thấy hai giải pháp có thể:

Reparametawn $\Sigma$ là $RR'$ trong đó $R$ là ma trận đối xứng hoặc tam giác trên. Sau đó, $\Sigma$ sẽ luôn luôn xác định dương và $R$ có thể không bị giới hạn.
Sử dụng hồ sơ khả năng. Suy ra các công thức cho $\hat\theta(\Sigma)$ và $\hat{\Sigma}(\theta)$ . Bắt đầu với một số $\theta_0$ và lặp lại $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ , $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$ cho đến khi hội tụ.

Có một số cách khác và những gì về 2 cách tiếp cận này, chúng sẽ làm việc, chúng có chuẩn không? Đây có vẻ là vấn đề khá chuẩn, nhưng tìm kiếm nhanh không cho tôi bất kỳ gợi ý nào. Tôi biết rằng ước tính Bayes cũng có thể, nhưng hiện tại tôi không muốn tham gia vào nó.

maximum-likelihood optimization covariance

— mpiktas
nguồn

Tôi có cùng một vấn đề trong thuật toán Kalman, nhưng vấn đề phức tạp hơn nhiều và không dễ sử dụng thủ thuật Hamilton. Tôi tự hỏi liệu một điều đơn giản hơn để làm chỉ đơn giản là sử dụng . Bằng cách này, tôi buộc mã không đưa ra lỗi và không thay đổi giải pháp. Điều này cũng có lợi ích khi buộc thuật ngữ này có cùng dấu hiệu với phần cuối cùng của khả năng. Có ý kiến gì không?

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

Giả sử rằng khi xây dựng ma trận hiệp phương sai, bạn sẽ tự động xử lý vấn đề đối xứng, khả năng đăng nhập của bạn sẽ là khi không xác định dương vì thuật ngữ trong người mẫu phải không? Để ngăn lỗi số nếu tôi sẽ tính toán trước và, nếu nó không tích cực, thì hãy làm cho khả năng nhật ký bằng -Inf, nếu không thì tiếp tục. Bạn phải tính toán các giá trị xác định, vì vậy điều này không làm bạn mất thêm bất kỳ tính toán nào. $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— Vĩ mô
nguồn

5

Hóa ra bạn có thể sử dụng khả năng tối đa của hồ sơ để đảm bảo các thuộc tính cần thiết. Bạn có thể chứng minh rằng cho cho , là tối đa bằng $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

Ở đâu

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

Sau đó có thể chỉ ra rằng

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

do đó chúng ta chỉ cần tối đa hóa

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

Đương nhiên trong trường hợp này sẽ làm hài lòng tất cả các thuộc tính cần thiết. Các bằng chứng giống hệt nhau cho trường hợp khi là tuyến tính có thể tìm thấy trong Phân tích chuỗi thời gian của JD Hamilton trang 295, do đó tôi đã bỏ qua chúng. $\Sigma$ $f$

— mpiktas
nguồn

3

Một tham số thay thế cho các ma trận hiệp phương sai là về mặt giá trị riêng và góc "Tặng" . $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

Đó là, chúng ta có thể viết

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

Trong đó là trực giao và $G$

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

với . $\lambda_1 \geq ... \geq \lambda_p \geq 0$

Trong khi đó, có thể được tham số hóa duy nhất theo các góc , , trong đó và [1] $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

(chi tiết được thêm vào)

[1]: Hoffman, Raffenetti, Ruedenberg. "Tổng quát hóa các góc Euler thành ma trận trực giao N chiều". J. Toán. Vật lý. 13, 528 (1972)

— charles.y.zheng
nguồn

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

2

$\Sigma = \Lambda + C C^{\top}$ , where $\Lambda$ is a diagonal matrix, and $C$ is a Cholesky factorization of a rank update to $\Lambda$ . You only then need to keep the diagonal of $\Lambda$ positive to keep $\Sigma$ positive definite. That is, you should estimate the diagonal of $\Lambda$ and the elements of $C$ instead of estimating $\Sigma$ .

— shabbychef
nguồn

Can below diagonal elements in this settings be anything I want as long as the diagonal is positive? When simulate matrices this way in numpy not all of them are positive definite.

— sztal

Λ

$\Lambda$ is a diagonal matrix.

— shabbychef