Độ dốc của khả năng đăng nhập Gaussian đa biến

Tôi đang cố gắng tìm ước tính MAP cho một mô hình theo độ dốc. Ưu tiên của tôi là Gaussian đa biến với ma trận hiệp phương sai đã biết.

Ở mức độ khái niệm, tôi nghĩ rằng tôi biết làm thế nào để làm điều này, nhưng tôi đã hy vọng được giúp đỡ với các chi tiết. Đặc biệt, nếu có một cách dễ dàng hơn để tiếp cận vấn đề, thì điều đó sẽ đặc biệt hữu ích.

Đây là những gì tôi nghĩ rằng tôi cần phải làm:

• Đối với mỗi thứ nguyên, hãy tìm phân phối có điều kiện, với vị trí hiện tại của tôi trong các thứ nguyên khác.
• Điều này mang lại cho tôi một Gaussian đơn biến cục bộ theo từng chiều, với giá trị trung bình và độ lệch chuẩn chính xác.
• Tôi nghĩ rằng gradient chỉ nên là một vectơ dẫn xuất cho mỗi phân phối đơn biến này.

Câu hỏi của tôi có hai phần:

1. Đây có phải là cách tiếp cận tốt nhất để thực hiện, hoặc có một cách dễ dàng hơn?
2. Giả sử tôi cần đi theo con đường này, cách tốt nhất để tìm kiếm các bản phân phối có điều kiện này là gì?

Còn tối ưu hóa thì sao?

Hãy xem tôi hiểu bạn có đúng không. Bạn có một mô hình dựa trên một số quan sát và một bộ tham số và trước đó dẫn đến khả năng chung là . Các tham số được phân phối theo một thông thường đa biến đã biết, tức là . Bạn muốn tìm giải pháp MAP cho vấn đề này, tức là Một trường hợp đặc biệt của vấn đề này được nghiên cứu kỹ trong cộng đồng mạng thần kinh, được gọi là giảm cân. Trong trường hợp đó, và .$p(y|x, \theta)$$x$$\theta$$p(\theta)$$\mathcal{L} = p(y|x, \theta)p(\theta)$$\theta \sim \mathcal{N}(\mu, \Sigma)$

Như bạn đã lưu ý, mẹo là . Khi bạn lấy nhật ký của mật độ Gaussian, nhiều thuật ngữ xấu (hàm mũ) sẽ biến mất và bạn sẽ kết thúc với sth như . Nếu bạn phân biệt điều đó, danh tính ma trận của Sam Roweis sẽ có ích và cho phép bạn đến$\text{argmax}_{\theta} \mathcal{L} = \text{argmax}_{\theta} \log \mathcal{L}$$\log p(\theta) = {1 \over 2}(\theta - \mu)^T\Sigma^{-1}(\theta - \mu) + \text{const}$

(Vui lòng xác minh, việc này đã được thực hiện nhanh chóng và trong đầu tôi.) Cùng với các dẫn xuất của mô hình của bạn, bạn có thể sử dụng các trình tối ưu hóa sẵn có để đưa ra giải pháp MAP.

Cập nhật : Nhận xét kết hợp của David J. Harris. Công thức nên được chính xác ngay bây giờ.

Nếu khả năng không phải là Gaussian thì không thể nói nếu có kết quả phân tích. Ngoài ra, viên đạn thứ hai nói chung là không chính xác. Vì khả năng Gaussian trước và chung không tạo ra các phân phối gaussian có điều kiện trên các thành phần vector.

Một cách để có được MAP sẽ là thực hiện phân tích Bayes đầy đủ, ví dụ như sử dụng MCMC và sử dụng các mẫu từ phía sau để ước tính nó. [Trong trường hợp nào bạn có sẵn thông tin tốt hơn là chỉ sử dụng MAP.] Không quan tâm - tại sao không đi xuống tuyến đường này bằng mọi cách?

Một cách tiếp cận khác có thể làm (Tôi thường không thấy điều này được thực hiện vì vậy ai đó vui lòng sửa cho tôi nếu nó bị hỏng):

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

$l(\theta|x) = l(x|\theta) + l(\theta) - l(x)$

$\frac{dl(\theta|x)}{d\theta} = \frac{dl(x|\theta)}{d\theta} + \frac{dl(\theta)}{d\theta} = 0$

Sau đó giải quyết cho (có thể là số).$\theta$