Làm thế nào để có được các giá trị bản địa (phần trăm của phương sai được giải thích) của các vectơ không phải là hàm riêng của PCA?

Tôi muốn hiểu làm thế nào tôi có thể nhận được tỷ lệ phần trăm phương sai của một tập dữ liệu, không phải trong không gian tọa độ do PCA cung cấp, mà dựa vào một tập các vectơ (xoay) hơi khác.

set.seed(1234)
xx <- rnorm(1000)
yy <- xx * 0.5 + rnorm(1000, sd = 0.6)
vecs <- cbind(xx, yy)
plot(vecs, xlim = c(-4, 4), ylim = c(-4, 4))
vv <- eigen(cov(vecs))$vectors
ee <- eigen(cov(vecs))$values
a1 <- vv[, 1]
a2 <- vv[, 2]
theta = pi/10
rotmat <- matrix(c(cos(theta), sin(theta), -sin(theta), cos(theta)), 2, 2)
a1r <- a1 %*% rotmat
a2r <- a2 %*% rotmat
arrows(0, 0, a1[1], a1[2], lwd = 2, col = "red")
arrows(0, 0, a2[1], a2[2], lwd = 2, col = "red")
arrows(0, 0, a1r[1], a1r[2], lwd = 2, col = "green3")
arrows(0, 0, a2r[1], a2r[2], lwd = 2, col = "green3")
legend("topleft", legend = c("eigenvectors", "rotated"), fill = c("red", "green3"))

Vì vậy, về cơ bản tôi biết rằng phương sai của bộ dữ liệu dọc theo mỗi trục màu đỏ, được đưa ra bởi PCA, được biểu thị bằng giá trị riêng. Nhưng làm thế nào tôi có thể có được các phương sai tương đương, tổng cộng cùng một lượng, nhưng chiếu hai trục khác nhau có màu xanh lục, đó là một phép quay bằng pi / 10 của các trục thành phần chính. IE đã đưa ra hai vectơ đơn vị trực giao từ gốc, làm thế nào tôi có thể lấy phương sai của một tập dữ liệu dọc theo mỗi trục tùy ý (nhưng trực giao), sao cho tất cả các phương sai được tính cho (ví dụ "giá trị riêng" tương đương với PCA).

Nếu các vectơ là trực giao, bạn có thể lấy phương sai của hình chiếu vô hướng của dữ liệu lên mỗi vectơ. Giả sử chúng ta có ma trận dữ liệu ( điểm x kích thước) và một tập hợp các vectơ cột trực giao . Giả sử dữ liệu là trung tâm. Phương sai của dữ liệu theo hướng của mỗi vectơ được cho bởi .$X$$n$$d$$\{v_1, ..., v_k\}$$v_i$$\text{Var}(X v_i)$

Nếu có nhiều vectơ như kích thước ban đầu ( ), tổng phương sai của các hình chiếu sẽ bằng tổng phương sai dọc theo kích thước ban đầu. Nhưng, nếu có ít vectơ hơn kích thước ban đầu ( ), tổng phương sai thường sẽ ít hơn so với PCA. Một cách để nghĩ về PCA là nó tối đa hóa số lượng rất lớn này (tùy thuộc vào ràng buộc rằng các vectơ là trực giao).$k = d$$k < d$

Bạn cũng có thể muốn tính (phần phương sai được giải thích), thường được sử dụng để đo mức độ của một số kích thước PCA nhất định thể hiện dữ liệu. Đặt đại diện cho tổng phương sai dọc theo từng chiều ban đầu của dữ liệu. Sau đó:$R^2$$S$

Đây chỉ là tỷ lệ của phương sai tổng của các hình chiếu và phương sai tổng hợp dọc theo kích thước ban đầu.

Một cách khác để suy nghĩ về là nó đo lường mức độ phù hợp nếu chúng ta cố gắng xây dựng lại dữ liệu từ các dự đoán. Sau đó, nó có dạng quen thuộc được sử dụng cho các mô hình khác (ví dụ hồi quy). Giả sử điểm dữ liệu thứ là một vectơ hàng . Lưu trữ mỗi vectơ cơ sở cùng các cột của ma trận . Chiếu của th điểm dữ liệu lên tất cả các vectơ trong được cho bởi . Khi có ít vectơ hơn kích thước ban đầu ($R^2$$i$$x_{(i)}$$V$$i$$V$$p_{(i)} = x_{(i)} V$$k < d$), chúng ta có thể nghĩ về điều này như ánh xạ dữ liệu tuyến tính vào một không gian với kích thước giảm. Chúng tôi xấp xỉ có thể tái tạo lại các điểm dữ liệu từ các đại diện chiều thấp bằng cách lập bản đồ trở lại vào không gian dữ liệu gốc: . Lỗi tái tạo bình phương trung bình là khoảng cách Euclide bình phương trung bình giữa mỗi điểm dữ liệu gốc và tái tạo của nó:$\hat{x}_{(i)} = p_{(i)} V^T$

Mức độ phù hợp của được định nghĩa tương tự như đối với các mô hình khác (tức là trừ đi một phần của phương sai không giải thích được). Cho lỗi bình phương trung bình của mô hình ( ) và tổng phương sai của đại lượng được mô hình hóa ( ), . Trong bối cảnh tái cấu trúc dữ liệu của chúng tôi, lỗi bình phương trung bình là (lỗi tái cấu trúc). Tổng phương sai là (tổng phương sai dọc theo mỗi chiều của dữ liệu). Vì thế:$R^2$$\text{MSE}$$\text{Var}_{\text{total}}$$R^2 = 1 - \text{MSE} / \text{Var}_{\text{total}}$$E$$S$

$S$ cũng bằng khoảng cách Euclide bình phương trung bình từ mỗi điểm dữ liệu đến giá trị trung bình của tất cả các điểm dữ liệu, vì vậy chúng ta cũng có thể nghĩ về khi so sánh lỗi tái tạo với 'mô hình trường hợp xấu nhất' luôn trả về có nghĩa là tái thiết.$R^2$

Hai biểu thức cho là tương đương. Như trên, nếu có nhiều vectơ như kích thước ban đầu ( ) thì sẽ là một. Nhưng, nếu , thường sẽ ít hơn PCA. Một cách khác để suy nghĩ về PCA là nó giảm thiểu lỗi tái tạo bình phương.$R^2$$k = d$$R^2$$k < d$$R^2$