Làm thế nào để lấy đạo hàm của mật độ đa biến thông thường?

Nói rằng tôi có mật độ bình thường . Tôi muốn có được wrt phái sinh thứ hai (một phần) . Không chắc chắn làm thế nào để lấy đạo hàm của một ma trận. $N(\mu, \Sigma)$ $\mu$

Wiki nói lấy phần tử phái sinh theo phần tử bên trong ma trận.

Tôi đang làm việc với xấp xỉ Laplace Chế độ là .

\log P_{N} (θ) = \log P_{N} - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ}) .

$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$

\hat{θ} = μ

$\hat\theta=\mu$

Tôi đã được cung cấp làm thế nào điều này xảy ra?

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (\hat{θ} | y),

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$

Những gì tôi đã làm:

\log P (θ | y) = - \frac{k}{2} \log 2 π - \frac{1}{2} \log | Σ | - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ})

$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$

Vì vậy, tôi lấy wrt phái sinh cho , trước hết, có một chuyển vị, thứ hai, nó là một ma trận. Vì vậy, tôi bị mắc kẹt. $\theta$

Lưu ý: Nếu giáo sư của tôi bắt gặp điều này, tôi đang đề cập đến bài giảng.

self-study normal-distribution matrix

— người dùng1061210
nguồn

một phần của vấn đề của bạn có thể là biểu hiện của bạn đối với khả năng đăng nhập có lỗi - bạn cónơi bạn nên có . Ngoài ra, bất kỳ cơ hội nào bạn có nghĩa là ?

| Σ |

$|\Sigma|$

\log (| Σ |)

$\log(|\Sigma|)$

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y)

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y)$

— Macro

Vâng, bạn đúng, xin lỗi. Tại sao có dấu âm ở phía trước đạo hàm riêng?

— dùng1061210

Tôi chỉ làm rõ về dấu hiệu tiêu cực bởi vì, đạo hàm thứ hai âm là thông tin đánh bắt được quan sát, thường được quan tâm. Ngoài ra, theo tính toán của riêng tôi, tôi thấy rằng

\frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y) = - Σ^{- 1}

$\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y) = -\Sigma^{-1}$

— Macro

Vì vậy, các thủ tục chung cho chức năng rời rạc / liên tục là gì? Hãy đăng nhập, ghi ở dạng khai triển Taylor, phân biệt hai lần wrt

. Thông tin của Fisher nói chung không đúng với hầu hết các mật độ khác, phải không?

θ

$\theta$

— dùng1061210

@user Như tôi đã chỉ ra, đạo hàm thứ hai của logarit phải có giá trị riêng không dương. Có, có mối liên hệ giữa phương sai và đạo hàm riêng thứ hai âm, như lý thuyết về ước tính khả năng tối đa, thông tin của Fisher, v.v., cho thấy - Macro đã đề cập đến điều đó sớm hơn trong các bình luận này.

— whuber

Câu trả lời:

Trong chương 2 của Matrix Cookbook, có một đánh giá tốt về các công cụ tính toán ma trận cung cấp nhiều danh tính hữu ích giúp giải quyết các vấn đề mà người ta sẽ gặp phải khi thực hiện xác suất và thống kê, bao gồm các quy tắc để giúp phân biệt khả năng Gaussian đa biến.

Nếu bạn có một véc tơ ngẫu nhiên có nghĩa là đa biến bình thường với vector trung bình và phương sai ma trận , sau đó sử dụng phương trình (86) trong sách dạy nấu ăn ma trận để thấy rằng gradient của log likelihood đối với là ${\boldsymbol y}$ ${\boldsymbol \mu}$ ${\boldsymbol \Sigma}$ ${\bf L}$ ${\boldsymbol \mu}$

\begin{aligned} \frac{\partial L}{\partial μ} & = - \frac{1}{2} (\frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial μ}) \\ = - \frac{1}{2} (- 2 Σ^{- 1} (y - μ)) \\ = Σ^{- 1} (y - μ) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$

Tôi sẽ để lại nó cho bạn để phân biệt này một lần nữa và tìm câu trả lời cho được . $-{\boldsymbol \Sigma}^{-1}$

Là "tín dụng bổ sung", sử dụng các phương trình (57) và (61) để thấy rằng độ dốc đối với là ${\boldsymbol \Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (\frac{\partial \log (| Σ |)}{\partial Σ} + \frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial Σ}) \\ = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$

Tôi đã bỏ qua rất nhiều bước, nhưng tôi đã tạo ra dẫn xuất này chỉ bằng cách sử dụng các danh tính được tìm thấy trong sách dạy nấu ăn ma trận, vì vậy tôi sẽ để lại cho bạn để điền vào các khoảng trống.

Tôi đã sử dụng các phương trình điểm số này để ước tính khả năng tối đa, vì vậy tôi biết chúng là chính xác :)

— Vĩ mô
nguồn

Tài liệu tham khảo tuyệt vời - sẽ tự giới thiệu nó. Không phải là một tài liệu tham khảo sư phạm tốt cho một người không biết đại số ma trận. Thách thức thực sự xuất phát từ thực tế làm việc ra

. Một nỗi đau thực sự.

Σ

$\Sigma$

— xác suất

Một nguồn tốt khác về tính toán ma trận là Magnus & Neudecker, amazon.com/ từ

— StasK

Số tham chiếu của phương trình đã được thay đổi (có thể do một phiên bản mới). Phương trình tham chiếu mới là 86.

— goelakash 17/05/2016

Tôi có thể rời khỏi đây nhưng tôi không nghĩ rằng công thức này là chính xác. Tôi đã sử dụng điều này với các ví dụ thực tế và xem xét sự khác biệt hữu hạn của chúng. Có vẻ như công thức cho

cho các giá trị chính xác cho các mục chéo. Tuy nhiên, các mục ngoài đường chéo là một nửa của những gì họ nên được.

\frac{\partial L}{\partial Σ}

$\frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}}$

— jjet

Bạn cần đảm bảo rằng bạn chăm sóc đúng cách các yếu tố lặp lại trong , nếu không, các dẫn xuất của bạn sẽ không chính xác. Ví dụ, (141) Matrix Cookbook cho một đối xứng đạo hàm sau $\mathbf{\Sigma}$ $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial \log | Σ |}{\partial Σ} & = 2 Σ^{- 1} - (Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$

Và (14) của Cách phân biệt chức năng của hiệp phương sai ma trận cho

\begin{aligned} \frac{\partial trace (Σ^{- 1} x x^{⊤})}{\partial Σ} & = - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$

nơi biểu thị sản phẩm Hadmard và để thuận tiện chúng tôi đã xác định . $\circ$ $\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

Lưu ý đặc biệt này là không giống như khi symmetricity của không áp đặt. Kết quả là chúng ta có điều đó $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{\partial}{\partial Σ} \frac{1}{2} (D \log | 2 π | + \log | Σ | + x^{⊤} Σ^{- 1} x)) \\ = - \frac{\partial}{\partial Σ} \frac{1}{2} (\log | Σ | + trace (Σ^{- 1} x x^{⊤})) \\ = - \frac{1}{2} (2 Σ^{- 1} - (Σ^{- 1} \circ I) - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I)) \end{aligned}

$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$

$D$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{\mu}$ $D\log|2\pi|$

$i,j^{th}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

— Lawrence Middleton
nguồn

Tôi đã cố gắng xác minh tính toán câu trả lời của @ Macro nhưng tìm thấy lỗi dường như là một lỗi nhỏ trong giải pháp hiệp phương sai. Anh ấy đã thu được

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) = A \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$ However, it appears that the correct solution is actually

B = 2 A - diag (A)

${\bf B}=2{\bf A} - \text{diag}({\bf A})$ The following R script provides a simple example in which the finite difference is calculated for each element of

Σ

${\boldsymbol \Sigma}$ . It demonstrates that

A

${\bf A}$ provides the correct answer only for diagonal elements while

B

${\bf B}$ is correct for every entry.

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f

— jjet
nguồn

Cảm ơn bình luận của bạn. Tôi tin rằng bạn diễn giải ký hiệu khác với mọi người khác, bởi vì bạn đồng thời thay đổi các cặp yếu tố khớp chéo của

Σ

$\Sigma$ , do đó nhân đôi hiệu quả của sự thay đổi. Trong thực tế, bạn đang tính toán bội số của một đạo hàm định hướng. Dường như có một vấn đề nhỏ với giải pháp của Macro trong trường hợp phải chuyển đổi - nhưng điều đó sẽ không thay đổi gì trong ứng dụng thành ma trận đối xứng.

— whuber