Lấy mẫu từ Gaussian đa biến với hiệp phương sai Laplacian (nghịch đảo)

Chúng tôi biết từ ví dụ Koutis-Miller-Peng (dựa trên công trình của Spielman & Teng), rằng chúng tôi có thể giải quyết rất nhanh các hệ tuyến tính $A x = b$ cho ma trận $A$ là ma trận Laplacian cho một số đồ thị thưa thớt với trọng số cạnh không âm .

Bây giờ (câu hỏi đầu tiên) xem xét sử dụng một trong các ma trận Laplacian $A$ làm ma trận hiệp phương sai hoặc (câu hỏi thứ hai) ma trận hiệp phương sai nghịch đảo của một phân phối chuẩn đa biến có nghĩa là 0 hoặc . Đối với mỗi trường hợp này, tôi có hai câu hỏi: $\mathcal{N}(\boldsymbol{0}, A)$ $\mathcal{N}(\boldsymbol{0}, A^{-1})$

A. Làm thế nào hiệu quả chúng ta có thể vẽ một mẫu từ phân phối này? (Thông thường để vẽ một mẫu, chúng tôi tính toán phân tách Cholesky , vẽ một tiêu chuẩn , sau đó tính một mẫu là ). $A = LL^T$ $y \sim \mathcal{N}(\boldsymbol{0}, I)$ $x = L^{-1} y$

B. Làm thế nào hiệu quả chúng ta có thể tính toán các yếu tố quyết định của ? $A$

Lưu ý rằng cả hai điều này có thể được giải quyết dễ dàng khi phân tách Cholesky, nhưng tôi không thấy ngay cách giải nén hiệu quả hơn chỉ bằng cách sử dụng thuật toán Cholesky thưa thớt tiêu chuẩn, không sử dụng các kỹ thuật được trình bày trong tài liệu tham khảo ở trên hoạt động, và sẽ có độ phức tạp hình khối cho các đồ thị thưa thớt nhưng cao-treewidth. $L$

— dan_x
nguồn

Tôi nghĩ rằng nó có thể giúp cụ thể hơn một chút về những gì bạn cho là "hiệu quả" trong cả hai trường hợp. "Hiệu quả" có giống như "không phụ thuộc vào phân tách Cholesky" không?

— Suresh Venkat

Cám ơn vì sự gợi ý. Có thể câu trả lời cho tất cả các câu hỏi là "bạn cần tính toán phân rã Cholesky và không có cấu trúc nào có thể được sử dụng ngoài độ thưa thớt của ma trận." Tôi muốn biết liệu điều này có đúng không (nhưng tôi hy vọng là không). Đối với "hiệu quả" trong đoạn cuối, vâng, tôi chủ yếu có nghĩa là hiệu quả hơn các thuật toán Cholesky thưa thớt tiêu chuẩn. Mặc dù nếu có cách sử dụng các kỹ thuật của công việc được tham chiếu ở trên để tính toán một Cholesky nhanh như nhau có thể được thực hiện thông qua các phương tiện khác, điều đó cũng rất thú vị.

— dan_x

Nếu bạn muốn lấy mẫu từ , bạn có thể sử dụng , trong đó là ma trận tần suất của biểu đồ. Vì vậy, bạn có thể lấy mẫu từ một Gaussian tiêu chuẩn trên ( là các cạnh) và áp dụng các tuyến tính biến đổi . Tôi không biết làm thế nào so sánh với các đề xuất dưới đây, nhưng bạn không cần phải tính toán phân tách Cholesky.

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

— Lorenzo Najt

Có hai vấn đề riêng biệt ở đây.

Cách sử dụng bộ giải hiệu quả cho để áp dụng . $Ax=b$ $A^{1/2}b$
Làm thế nào để tính toán xác định.

Các câu trả lời ngắn là 1) sử dụng các xấp xỉ hàm ma trận hợp lý và 2) bạn không, nhưng dù sao bạn cũng không cần. Tôi giải quyết cả hai vấn đề dưới đây.

Ma trận gần đúng căn bậc hai

Ý tưởng ở đây là chuyển đổi một xấp xỉ hàm hợp lý cho các hàm vô hướng thành một xấp xỉ hàm hợp lý cho các hàm ma trận.

Chúng tôi biết rằng tồn tại các hàm hữu tỷ có thể xấp xỉ hàm căn bậc hai cực kỳ tốt, cho dương . Thật vậy, để có được độ chính xác cao trong khoảng , bạn cần các thuật ngữ trong chuỗi. Để có các trọng số phù hợp ( ) và các cực ( ), chỉ cần tra gần đúng hàm xấp xỉ trực tuyến hoặc trong một cuốn sách.

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

Bây giờ hãy xem xét áp dụng hàm hợp lý này cho ma trận của bạn:

r (A) = a_{1} (A + b_{1} I)^{- 1} + a_{2} (A + b_{2} I)^{- 1} + \dots + a_{N} (A + b_{N} I)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

Do tính đối xứng của , chúng ta có nơi là sự phân hủy giá trị đơn lẻ (SVD) của . Vì vậy, chất lượng của xấp xỉ ma trận hợp lý tương đương với chất lượng của xấp xỉ hàm hợp lý tại vị trí của các giá trị riêng. $A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | U (Σ^{1 / 2} - r (Σ)) U^{*} | |_{2}, \\ = max_{i} | \sqrt{σ_{i}} - r (σ_{i}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

Biểu thị số điều kiện của bằng , chúng ta có thể áp dụng cho bất kỳ dung sai mong muốn nào bằng cách thực hiện thay đổi tích cực các giải pháp Laplacian có dạng, $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(A + b I) x = b .

$(A + bI)x=b.$

Những giải pháp này có thể được thực hiện với đồ thị yêu thích của bạn Người giải quyết Laplacian Tôi thích các kỹ thuật loại đa biến, nhưng một trong những bài báo mà bạn trích dẫn cũng sẽ ổn. Các thêm chỉ giúp hội tụ của người giải. $bI$

Để có một bài viết xuất sắc thảo luận về điều này, cũng như các kỹ thuật phân tích phức tạp tổng quát hơn áp dụng cho ma trận không đối xứng, hãy xem Tính toán , và các hàm ma trận liên quan bằng các tích phân đường viền $A^α$ $\log(A)$ , bởi Hale, Higham và Trefethen (2008 ).

"Tính toán" quyết định

Các yếu tố quyết định là khó tính toán hơn. Theo như tôi biết, cách tốt nhất là để tính toán Schur phân hủy sử dụng các thuật toán QR, sau đó đọc ra khỏi giá trị riêng từ đường chéo của ma trận trên bên tam giác . Điều này mất thời gian , trong đó là số nút trong biểu đồ. $A = Q U Q^*$ $U$ $O(n^3)$ $n$

Tuy nhiên, tính toán các yếu tố quyết định vốn là một vấn đề không có điều kiện, vì vậy nếu bạn đã từng đọc một bài báo dựa trên các yếu tố quyết định tính toán của một ma trận lớn, bạn nên rất nghi ngờ về phương pháp này.

May mắn thay, bạn có thể không thực sự cần yếu tố quyết định. Ví dụ,

Để vẽ các mẫu từ một phân phối Gaussian , hằng số chuẩn hóa là giống nhau ở tất cả các điểm, do đó bạn không bao giờ cần phải tính toán nó. $N(0,A^{-1})$
Nếu ma trận Laplacian của bạn đại diện cho hiệp phương sai nghịch đảo của một xấp xỉ Gaussian cục bộ tại điểm thành phân phối không phải Gaussian, thì định thức thực sự thay đổi từ điểm này sang điểm khác. Tuy nhiên, trong mọi sơ đồ lấy mẫu hiệu quả mà tôi biết (bao gồm chuỗi Markov Monte Carlo, lấy mẫu quan trọng, v.v.), điều bạn thực sự cần là tỷ lệ xác định , trong đó là điểm hiện tại và là mẫu tiếp theo được đề xuất. $A = A_x$ $x$ $det (A_{x_{0}}^{- 1} A_{x_{p}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

Chúng tôi có thể xem dưới dạng cập nhật thứ hạng thấp cho danh tính, trong đó số hiệu quả thứ hạng, , của bản cập nhật thứ hạng thấp là thước đo cục bộ về mức độ phân phối thực sự của Gaussian; thông thường, nó thấp hơn nhiều so với thứ hạng đầy đủ của ma trận. Thật vậy, nếu lớn, thì phân phối thực sự cục bộ không phải là Gaussian mà người ta phải đặt câu hỏi cho toàn bộ chiến lược cố gắng lấy mẫu phân phối này bằng cách sử dụng xấp xỉ Gaussian cục bộ. $A_{x_0}^{-1}A_{x_p}$

A_{x_{0}}^{- 1} A_{x_{p}} = I + Q D Q^{*},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

Các yếu tố thứ hạng thấp và có thể được tìm thấy với SVD hoặc Lanczos ngẫu nhiên bằng cách áp dụng ma trận cho các vectơ khác nhau, mỗi ứng dụng yêu cầu một biểu đồ Dung dịch Laplacian. Do đó, công việc tổng thể để có được các yếu tố xếp hạng thấp này là . $Q$ $D$

A_{x_{0}}^{- 1} A_{x_{p}} - I

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

Biết , tỷ lệ xác định là $D = \text{diag}(d_1,d_2,\dots,d_r)$

det (A_{x_{0}}^{- 1} A_{x_{p}}) = det (I + Q D Q^{*}) = \exp (\sum_{i = 1}^{r} \log d_{i}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

Những kỹ thuật tính toán khẩu phần xác định thứ hạng thấp này có thể được tìm thấy trong Phương pháp MCMC Stochastic Newton cho các vấn đề nghịch đảo thống kê quy mô lớn với ứng dụng vào đảo ngược địa chấn , bởi Martin, et al. (2012). Trong bài báo này, nó được áp dụng cho các vấn đề liên tục, do đó "biểu đồ" là một lưới trong không gian 3D và biểu đồ Laplacian là ma trận Laplacian thực tế. Tuy nhiên, tất cả các kỹ thuật áp dụng cho Laplacians đồ thị chung. Có lẽ bây giờ có những bài báo khác áp dụng kỹ thuật này vào đồ thị chung (phần mở rộng là tầm thường và về cơ bản là những gì tôi vừa viết).

— Nick Alger
nguồn