Tại sao tôi không thể có được SVD hợp lệ của X thông qua phân tách eigenvalue của XX 'và X'X?

Tôi đang cố gắng làm SVD bằng tay:

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

Nhưng dòng cuối cùng không quay trở mlại. Tại sao? Nó dường như có liên quan đến các dấu hiệu của những người bản địa này ... Hay tôi đã hiểu sai quy trình?

Phân tích vấn đề

SVD của một ma trận không bao giờ là duy nhất. Đặt ma trận có kích thước và để SVD của nó làn × $A$$n\times k$

$$A = U D V^\prime$$

đối với ma trận ma trận với các cột trực giao, ma trận ma trận với các mục không âm và ma trận ma trận với các cột trực giao.U p × p D k × p $n\times p$$U$$p\times p$$D$$k\times p$$V$

Bây giờ, chọn tùy ý , bất kỳ đường chéo ma trận có s trên đường chéo, sao cho là nhận dạng . Sau đóS ± 1 S 2 = I p × p I $p\times p$$S$$\pm 1$$S^2 = I$$p\times p$$I_p$

$$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$$

cũng là một SVD của vì chứng tỏ có các cột trực giao và một tính toán tương tự chứng minh có các cột trực giao. Hơn nữa, vì và là đường chéo, chúng đi lại, từ đó cho thấy vẫn có các mục không âm.( U S ) ′ ( U S ) = S ′ U ′ U S = S ′ I p S = S ′ S = S 2$A$ U S V S S D S D S = D S 2 = D

$$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$$ $US$$VS$$S$$D$ $$S D S = DS^2 = D$$ $D$

Phương thức được triển khai trong mã để tìm một SVD tìm thấy một có đường chéo và tương tự, một chéo Nó tiến hành tính toán theo các giá trị riêng được tìm thấy trong . Vấn đề là điều này không đảm bảo một kết hợp phù hợp của các cột của với các cột của .Một Một ' = ( U D V ' ) ( U D V ' ) ' = U D V ' V D ' U ' = U D 2 U ' V Một ' Một = V D 2 V ' . D D 2 U V$U$

$$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$$ $V$ $$A^\prime A = VD^2V^\prime.$$ $D$$D^2$$U$$V$

Một giải pháp

Thay vào đó, sau khi tìm thấy một và như vậy , hãy sử dụng chúng để tính toán$U$$V$

$$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$$

trực tiếp và hiệu quả. Các giá trị đường chéo của này không nhất thiết là dương. $D$ (Đó là bởi vì không có gì về quá trình diagonalizing hoặc là hoặc đó sẽ đảm bảo rằng, kể từ khi hai quá trình được thực hiện riêng rẽ.) Làm cho họ tích cực bằng cách chọn các mục dọc theo đường chéo của bằng với dấu của các mục của , để có tất cả các giá trị dương. Bồi thường cho điều này bằng cách nhân với :A A ′ S D S D U $A^\prime A$$AA^\prime$$S$$D$$SD$$U$$S$

$$A = U D V^\prime = (US) (SD) V^\prime.$$

Đó là một SVD.

Thí dụ

Đặt với . Một SVD là$n=p=k=1$$A=(-2)$

$$(-2) = (1)(2)(-1)$$

với , và .$U=(1)$$D=(2)$$V=(-1)$

Nếu bạn chéo bạn sẽ tự nhiên chọn và . Tương tự như vậy, nếu bạn chéo hóa bạn sẽ chọn . Thật không may, Thay vào đó, hãy tính Vì đây là số âm nên đặt . Điều này điều chỉnh thành và thành . Bạn đã thu được đây là một trong hai SVD có thể (nhưng không giống với bản gốc!).$A^\prime A = (4)$$U=(1)$$D=(\sqrt{4})=(2)$$AA^\prime=(4)$$V=(1)$

$$UDV^\prime = (1)(2)(1) = (2) \ne A.$$ $$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$$ $S=(-1)$$U$$US = (1)(-1)=(-1)$$D$$SD = (-1)(-2)=(2)$ $$A = (-1)(2)(1),$$

Mã

Đây là mã sửa đổi. Đầu ra của nó xác nhận

1. Phương pháp tạo lại mchính xác.
2. $U$ và thực sự vẫn còn trực giao.$V$
3. Nhưng kết quả không giống với SVD được trả về svd. (Cả hai đều có giá trị như nhau.)

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

Như tôi đã phác thảo trong một nhận xét cho câu trả lời của @ whuber, phương pháp này để tính toán SVD không hoạt động cho mọi ma trận . Vấn đề không giới hạn ở các dấu hiệu.

Vấn đề là có thể có các giá trị riêng lặp đi lặp lại, và trong trường hợp này, sự xuất tinh của và không phải là duy nhất và không phải tất cả các lựa chọn của và đều có thể được sử dụng để lấy ra hệ số đường chéo của SVD. Chẳng hạn, nếu bạn lấy bất kỳ ma trận trực giao không đường chéo nào (giả sử, ), thì . Trong số tất cả các lựa chọn có thể cho ma trận eigenvector của , sẽ trả về , do đó trong trường hợp này không phải là đường chéo.Một Một ' U V Một = [ 3 / 5 4 / 5 - 4 / 5 3 / 5 ] Một Một '$A'A$$AA'$$U$$V$$A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$$AA'=A'A=I$$I$eigen$U=V=I$$U'AV=A$

Theo trực giác, đây là một biểu hiện khác của cùng một vấn đề mà @whuber vạch ra, rằng phải có một "khớp" giữa các cột của và và tính toán hai phép tách riêng không đảm bảo điều đó.$U$$V$

Nếu tất cả các giá trị số ít của là khác biệt, thì quá trình xuất tinh là duy nhất (tối đa tỷ lệ / dấu hiệu) và phương thức hoạt động. Lưu ý: vẫn không nên sử dụng mã này trong mã sản xuất trên máy tính có số học dấu phẩy động, bởi vì khi bạn tạo các sản phẩm và , kết quả tính toán có thể bị nhiễu bởi một lượng thứ tự , trong đó là độ chính xác của máy. Nếu độ lớn của các giá trị số ít khác nhau rất nhiều (khoảng hơn , đại khái), thì điều này gây bất lợi cho độ chính xác bằng số của các giá trị nhỏ nhất.Một ' Một Một Một ' ‖ Một ‖ 2 u u ≈ 2 × 10 - 16 10 - $A$$A'A$$AA'$$\|A\|^2u$$u \approx 2\times 10^{-16}$$10^{-8}$

Tính toán SVD từ hai phép phân tích điện tử là một ví dụ học tập tuyệt vời, nhưng trong các ứng dụng thực tế luôn sử dụng svdhàm R để tính toán phân tách giá trị số ít.