Làm thế nào để tính toán ma trận hiệp phương sai gần đúng ba biến, cho sự phân rã nhanh?

Đưa ra một ma trận dữ liệu $X$ nói 1000000 quan sát $\times$ 100 tính năng, có một cách nhanh chóng để xây dựng một xấp xỉ ba cực $A \approx cov(X)$?
Sau đó, một yếu tố có thể$A = L L^T$, $L$ tất cả 0 ngoại trừ $L_{i\ i-1}$ và $L_{i i}$và làm tan nhanh (làm trắng) bằng cách giải quyết $L x = x_{white}$. (Ý tôi là "nhanh"$O( size\ X )$.)

(Đã thêm, cố gắng làm rõ): Tôi đang tìm kiếm một chất làm trắng nhanh và bẩn nhanh hơn đầy đủ $cov(X)$nhưng tốt hơn đường chéo. Nói rằng$X$ Là $N$ điểm dữ liệu $\times Nf$ tính năng, ví dụ 1000000$\times$ 100, với các tính năng 0 có nghĩa.

1) xây dựng $Fullcov = X^T X$, Cholesky yếu tố đó là $L L^T$, gỡ rối $L x = x_{white}$ để làm trắng mới $x$S. Đây là bậc hai về số lượng các tính năng.

2) đường chéo: $x_{white} = x / \sigma(x)$ bỏ qua các mối tương quan chéo hoàn toàn.

Người ta có thể có được một ma trận ba cực từ$Fullcov$ chỉ bằng cách loại bỏ tất cả các mục bên ngoài bộ ba, hoặc không tích lũy chúng ở vị trí đầu tiên. Và ở đây tôi bắt đầu chìm: phải có một xấp xỉ tốt hơn, có lẽ là phân cấp, khối chéo → tridia chéo?

1) có gần đúng nhanh không $cov(X)$?
Không (whuber), người ta phải nhìn vào tất cả${N \choose 2}$ cặp (hoặc có cấu trúc, hoặc mẫu).

2) đưa ra một $cov(X)$, người ta có thể làm trắng nhanh như thế nào $x$s?
Vâng, bao thanh toán$cov = L L^T$, $L$ tam giác dưới, một lần, sau đó giải $L x = x_{white}$ là khá nhanh; scipy.linalg.solve_triangular, ví dụ, sử dụng Lapack.
Tôi đang tìm kiếm một whiten nhanh hơn (), vẫn đang tìm kiếm.

Chỉ tính toán ma trận hiệp phương sai - mà bạn sẽ cần bắt đầu trong bất kỳ sự kiện nào - là$O((Nf)^2)$ vì vậy, không có triệu chứng trong $N$, không có gì đạt được bằng cách chọn một $O(Nf)$ thuật toán làm trắng.

Có các xấp xỉ khi các biến có cấu trúc bổ sung, chẳng hạn như khi chúng tạo thành chuỗi thời gian hoặc thực hiện quy trình ngẫu nhiên không gian tại các địa điểm khác nhau. Chúng dựa trên các giả định một cách hiệu quả cho phép chúng ta liên hệ hiệp phương sai giữa một cặp biến số với các cặp biến khác, chẳng hạn như giữa các cặp được phân tách bằng độ trễ cùng thời gian. Đây là lý do thông thường để giả sử một quá trình là ổn định hoặc cố định , chẳng hạn. Tính toán có thể được$O(Nflog(Nf)$trong những trường hợp như vậy ( ví dụ: sử dụng Biến đổi Fourier nhanh như trong Yao & Journel 1998 ). Không có mô hình như vậy, tôi không thấy làm thế nào bạn có thể tránh tính toán tất cả các hiệp phương sai theo cặp.

Trong một ý thích bất chợt, tôi quyết định thử tính toán (tính bằng R) ma trận hiệp phương sai cho một tập dữ liệu có kích thước được đề cập trong OP:

z <- rnorm(1e8)
dim(z) <- c(1e6, 100)
vcv <- cov(z)

Điều này chỉ mất chưa đầy một phút, trên một máy tính xách tay khá chung chạy Windows XP 32 bit. Có thể mất nhiều thời gian hơn để tạo zở vị trí đầu tiên hơn là tính toán ma trận vcv. Và R không được tối ưu hóa đặc biệt cho các hoạt động ma trận ra khỏi hộp.

Cho kết quả này, tốc độ có quan trọng không? Nếu N >> p, thời gian tính toán xấp xỉ của bạn có lẽ sẽ không ít hơn nhiều để có được ma trận hiệp phương sai thực tế.