Kỹ thuật theo dõi ngẫu nhiên

10

Tôi đã gặp kỹ thuật theo dõi ngẫu nhiên sau đây trong M. Seeger, Cập nhật thứ hạng thấp cho phân tách Cholesky, Đại học California ở Berkeley, Tech. Đại diện, 2007.

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

trong đó . $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

Là một người không có nền tảng toán học sâu sắc, tôi tự hỏi làm thế nào sự bình đẳng này có thể đạt được. Hơn nữa, làm thế nào chúng ta có thể giải thích , ví dụ về mặt hình học? Tôi nên tìm ở đâu để hiểu ý nghĩa của việc lấy sản phẩm bên trong của một vectơ và giá trị phạm vi của nó? Tại sao giá trị trung bình bằng tổng giá trị riêng? Ngoài tài sản lý thuyết, tầm quan trọng thực tế của nó là gì? $\mathbf{x}^T \mathbf{A} \mathbf{x}$

Tôi đã viết một đoạn mã MATLAB để xem nó có hoạt động không

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

Dấu vết là 15 trong đó xấp xỉ là 14.9696.

normal-distribution matlab

— người nuôi dưỡng
nguồn

12

NB Kết quả đã nêu không phụ thuộc vào bất kỳ giả định nào về tính quy tắc hoặc thậm chí tính độc lập của tọa độ của . Nó cũng không phụ thuộc vào là xác định tích cực. Thật vậy, giả sử chỉ tọa độ của có giá trị trung bình bằng 0, phương sai của một và không tương quan (nhưng không nhất thiết phải độc lập); đó là, , và với mọi . $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

Cách tiếp cận tay trần

Đặt là ma trận tùy ý . Theo định nghĩa . Sau đó, $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$ và vậy là xong.

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

Bằng chứng thông qua các thuộc tính dấu vết

$\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

Hình thức bậc hai, sản phẩm bên trong và ellipsoids

$\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— hồng y
nguồn

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(x^{T} A x)] = E [(\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j})] = \sum_{i = 1}^{n} a_{i i} E [x_{i}^{2}] + \sum_{i \neq j} a_{i j} E [x_{i} x_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

x_{i}

$\mathbf{x}_i$

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

Trên thực tế, nó là nhất quán trong câu trả lời. Tôi chỉ muốn chắc chắn rằng các biến được đăng ký là các thành phần của vectơ. Bây giờ, nó đã rõ ràng.

— petrichor

Vâng, nó phù hợp (bây giờ) bởi vì tôi đã chỉnh sửa nó! :) Cảm ơn đã chỉ ra lỗi chính tả. Tôi sẽ cố gắng thêm một chút về hình học tại một số điểm trong vài ngày tới.

— Đức hồng y

3

$A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

$A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

$A = C^{-1}$ $C$

— aprokopiw
nguồn

1

$Ax$ $A$ $A$ $A$

$A$ $A$

Một số ứng dụng của kỹ thuật này cho các vấn đề đảo ngược địa vật lý quy mô lớn được thảo luận trong

JK MacCarthy, B. Borchers và RC Aster. Ước lượng ngẫu nhiên hiệu quả của ma trận độ phân giải mô hình chéo một xác nhận chéo tổng quát thứ n cho các vấn đề nghịch đảo địa vật lý lớn. Tạp chí Nghiên cứu Địa vật lý, số 116, B10304, 2011. Liên kết đến bài báo

— Brian Borchers
nguồn

+1 Tôi đã gặp các thuật toán ngẫu nhiên trong học kỳ này và say mê với chúng. Hãy để tôi thêm một bài viết tốt đẹp. Nathan Halko, Per-Gunnar Martinsson, Joel A. Tropp, "Tìm cấu trúc một cách ngẫu nhiên: Các thuật toán xác suất để xây dựng phân rã ma trận gần đúng", 2010, arxiv.org/abs/0909.4061

— petrichor