Tính toán nhanh của thành phần khôn ngoan cho ngẫu nhiên

Tôi có câu hỏi sau đây:

Giả sử tôi có hai ma trận cả hai kích thước và một ma trận Gaussian iid ngẫu nhiên có kích thước , . $X, Y$ $m\times p$ $G$ $m \times k$ $m\gg p>k$

Có cách nào nhanh chóng để tính không? Có lẽ bằng cách sử dụng thực tế là cả và đều nhỏ hơn ? Ở đây, có nghĩa là số mũ nhập cảnh (tức là của mục nhập của ma trận). Rõ ràng, không có số mũ, nó dễ dàng và có thể được thực hiện đơn giản bởi , nhưng vấn đề là số mũ theo nguyên tố không còn là thứ hạng thấp. $\exp(-XY^T)G$ $X$ $Y$ $XY^T$ $\exp(\cdot)$ $\textbf{each}$ $X(Y^TG)$

Động lực cho câu hỏi là nhân một mẫu có dạng

$D_{ij}=\exp(-d_{ij})$ hoặc $D_{ij}=\exp(-d_{ij}^2)$

với và bằng một ma trận ngẫu nhiên một cách hiệu quả. $d_{ij}=\Vert x_i-y_j \Vert$ $x_i, y_i \in \mathbb{R}^p$

Một giải pháp gần đúng cũng tốt.

linear-algebra matrix

— Gil
nguồn

Tôi thấy câu hỏi rõ ràng (bản thân tôi không có ý tưởng nào đáng tiếc), nhưng thực tế là số mũ là thành phần khôn ngoan Tôi nghĩ rằng sẽ đánh lừa rất nhiều người - là một ký hiệu rất chuẩn cho ma trận theo cấp số nhân , đặc biệt là trong lý thuyết về ODE và PDE. Bạn có thể viết lại tiêu đề một chút không?

\exp (A)

$\exp(A)$

— Kirill

Xác định nhanh? Bạn có nghĩa là theo cách véc tơ mà không lặp trên toàn bộ ma trận ?

- X Y^{T}

$-XY^T$

— nluigi

Độ phức tạp tính toán thấp hơn .

O (m^{2} k)

$\mathbb{O}(m^2k)$

— Gil

Giấy NIPS'16 có thể là giấy tờ có liên quan.nips.cc/apers/6246-orthogonal-random-features

— Ghi nhớ

Tôi nhìn vào tờ giấy, nó rất hữu ích. Cảm ơn! @Memming

— Gil

Nếu xấp xỉ đủ, có lẽ chúng ta có thể bắt đầu bằng cách phát triển toán tử như sau: Lưu ý rằng các thuật ngữ sức mạnh tuân theo ký hiệu phần tử khôn ngoan của bạn và đề cập đến quyền hạn Hadamard, hơi lạm dụng các quy ước tiêu chuẩn. $\exp$

\exp (Z) = \sum_{k = 0}^{\infty} \frac{Z^{k}}{k!} = 1 + Z + \frac{Z^{2}}{2} + \frac{Z^{3}}{6} + \frac{Z^{4}}{24} + . . .

$\exp(Z) = \sum\limits_{k=0}^{\infty} \frac{Z^k}{k!} = 1+Z+\frac{Z^2}{2} + \frac{Z^3}{6} + \frac{Z^4}{24} + ...$

Điều này mang lại khả năng viết lại biểu thức: trong đó là một ma trận danh tính có kích thước phù hợp. Nếu một người có thể sống với xấp xỉ đơn hàng đầu tiên, thì: dẫn đến hoạt động dễ dàng hơn. Đối với các xấp xỉ bậc cao hơn, bạn muốn tìm ra giải pháp cho sức mạnh Hadamard, có lẽ khó hơn một chút hoặc tôi chưa thấy giải pháp nào ngay lập tức.

\begin{aligned} \exp (- X Y^{T}) G & = (I - X Y^{T} + \frac{(X Y^{T})^{2}}{2} - \frac{(X Y^{T})^{3}}{6} + \frac{(X Y^{T})^{4}}{24} - . . .) G \\ = G - X Y^{T} G + \frac{(X Y^{T})^{2} G}{2} - \frac{(X Y^{T})^{3} G}{6} + \frac{(X Y^{T})^{4} G}{24} - . . . \end{aligned}

$\begin{align} \exp{(-XY^T)}G &= \Big(I-XY^T+\frac{(XY^T)^2}{2} - \frac{(XY^T)^3}{6} + \frac{(XY^T)^4}{24} - ...\Big)G \\ &=G-XY^TG+\frac{(XY^T)^2G}{2} - \frac{(XY^T)^3G}{6} + \frac{(XY^T)^4G}{24} - ... \end{align}$

I

$I$

\begin{aligned} \exp (- X Y^{T}) G & = G - X Y^{T} G + O (m a x (| X Y^{T} |)^{2}) \\ \approx G - X Y^{T} G = G - X (Y^{T} G) \end{aligned}

$\begin{align} \exp{(-XY^T)}G &= G-XY^TG+ O(max(|XY^T|)^2)\\ &\approx G-XY^TG = G-X(Y^TG) \end{align}$

— Chim cánh cụt
nguồn

Ý tưởng tốt. Chi tiết nhỏ: thay vào đó sẽ giống như .

O (n^{2})

$O(n^2)$

O ((‖ X ‖ ‖ Y ‖)^{2})

$O((\|X\|\|Y\|)^2)$

— Federico Poloni

@FedericoPoloni, tôi đồng ý. Nếu bạn có thể giới thiệu một ký hiệu phù hợp hơn là sử dụng các chỉ tiêu của ma trận, tôi sẽ vui lòng cập nhật.

— Birdga Tolga

Chà, sử dụng định mức có vẻ phù hợp với tôi, nhưng nếu bạn thích, bạn có thể viết nó thành .

O (max (| X Y^{T} |)^{2})

$O(\max(|XY^T|)^2)$

— Federico Poloni

ok, cập nhật nó

— Birdga Tolga