Tôi đang học PCA từ khóa học Coursera của Andrew Ng và các tài liệu khác. Trong bài tập đầu tiên của Stanford NLP cs224n , và trong video bài giảng của Andrew Ng , họ thực hiện phân rã giá trị số ít thay vì phân tách eigenvector của ma trận hiệp phương sai, và Ng thậm chí còn nói rằng SVD ổn định hơn về số lượng.

Theo hiểu biết của tôi, đối với PCA, chúng ta nên thực hiện SVD của ma trận dữ liệu có (m,n)kích thước, chứ không phải ma trận hiệp phương sai về (n,n)kích thước. Và phân tách eigenvector của ma trận hiệp phương sai.

Tại sao họ làm SVD của ma trận hiệp phương sai, không phải ma trận dữ liệu?

amip đã đưa ra một câu trả lời tốt trong các ý kiến, nhưng nếu bạn muốn một cuộc tranh luận chính thức, ở đây nó đi.

Phân rã giá trị số ít của ma trận là , trong đó các cột của là các hàm riêng của và các mục chéo của là căn bậc hai của giá trị riêng của nó, tức là .Một = U Σ V T V Một T Một Σ σ i i = $A$$A=U\Sigma V^T$$V$$A^TA$$\Sigma$$\sigma_{ii}=\sqrt{\lambda_i(A^TA)}$

Như bạn đã biết, các thành phần chính là các hình chiếu trực giao của các biến của bạn vào không gian của các hàm riêng của ma trận hiệp phương sai theo kinh nghiệm . Phương sai của các thành phần được cho bởi giá trị riêng của nó, .λi($\frac{1}{n-1}A^TA$$\lambda_i(\frac{1}{n-1}A^TA)$

Xét bất kỳ ma trận vuông , và một vectơ sao cho . Sau đóalpha ∈ R v B v = λ $B$$\alpha \in \mathbb R$$v$$Bv=\lambda v$

1. $B^kv=\lambda^kv$
2. $\lambda(\alpha B) = \alpha\lambda( B)$

Hãy để chúng tôi xác định . SVD của sẽ tính toán sự xuất tinh của để mang lạiSSTS=$S=\frac{1}{n-1}A^TA$$S$$S^TS=\frac{1}{(n-1)^2}A^TAA^TA$

1. các hàm riêng của , mà thuộc tính 1 là củaA T$(A^TA)^TA^TA=A^TAA^TA$$A^TA$
2. căn bậc hai của các giá trị riêng của , theo thuộc tính 2, sau đó 1, sau đó 2 lần nữa, là .$\frac{1}{(n-1)^2}A^TAA^TA$$\sqrt{\frac{1}{(n-1)^2} \lambda_i(A^TAA^TA)} = \sqrt{\frac{1}{(n-1)^2} \lambda_i^2(A^TA)} = \frac{1}{n-1}\lambda_i(A^TA) = \lambda_i(\frac{1}{n-1}A^TA)$

Võngà!

Liên quan đến sự ổn định về số, người ta sẽ cần phải tìm ra các thuật ngữ được sử dụng là gì. Nếu bạn đồng ý, tôi tin rằng đây là những thói quen LAPACK được sử dụng bởi numpy:

• numpy.linalg.eig
• numpy.linalg.svd

Cập nhật: Về tính ổn định, việc triển khai SVD dường như đang sử dụng phương pháp phân chia và chinh phục, trong khi đó, eigendecro sử dụng thuật toán QR đơn giản. Tôi không thể truy cập một số bài báo SIAM có liên quan từ tổ chức của mình (đổ lỗi cho việc cắt giảm nghiên cứu) nhưng tôi đã tìm thấy điều gì đó có thể hỗ trợ cho việc đánh giá rằng thói quen SVD ổn định hơn.

Trong

Nakatsukasa, Yuji và Nicholas J. Higham. "Các thuật toán phân chia và chinh phục phổ ổn định và hiệu quả cho phân rã eigenvalue đối xứng và SVD." Tạp chí SIAM về tính toán khoa học 35.3 (2013): A1325-A1349.

họ so sánh tính ổn định của các thuật toán eigenvalue khác nhau và dường như phương pháp phân chia và chinh phục (họ sử dụng cùng một phương pháp như numpy trong một trong các thử nghiệm!) ổn định hơn thuật toán QR. Điều này, cùng với tuyên bố ở nơi khác rằng các phương pháp D & C thực sự ổn định hơn, hỗ trợ cho sự lựa chọn của Ng.

@amoeba đã có câu trả lời tuyệt vời cho các câu hỏi PCA, bao gồm câu hỏi này liên quan đến SVD với PCA. Trả lời cho câu hỏi chính xác của bạn, tôi sẽ đưa ra ba điểm:

• về mặt toán học, không có sự khác biệt cho dù bạn tính PCA trực tiếp trên ma trận dữ liệu hay trên ma trận hiệp phương sai của nó
• sự khác biệt hoàn toàn là do độ chính xác và độ phức tạp của số. Áp dụng áp dụng SVD trực tiếp vào ma trận dữ liệu ổn định hơn về số lượng so với ma trận hiệp phương sai
• SVD có thể được áp dụng cho ma trận hiệp phương sai để thực hiện PCA hoặc thu được các giá trị riêng, trên thực tế, đó là phương pháp ưa thích của tôi để giải quyết các vấn đề bản địa

Nó chỉ ra rằng SVD ổn định hơn các thủ tục xác định vị trí eigenvalue điển hình, đặc biệt, đối với học máy. Trong học máy, thật dễ dàng để kết thúc với các hồi quy cộng tuyến cao. SVD hoạt động tốt hơn trong những trường hợp này.

Đây là mã Python để demo điểm. Tôi đã tạo ra một ma trận dữ liệu cộng tuyến cao, có ma trận hiệp phương sai của nó và cố gắng đạt được các giá trị riêng sau này. SVD vẫn hoạt động, trong khi phân tách eigen thông thường thất bại trong trường hợp này.

import numpy as np
import math
from numpy import linalg as LA

np.random.seed(1)

# create the highly collinear series
T = 1000
X = np.random.rand(T,2)
eps = 1e-11
X[:,1] = X[:,0] + eps*X[:,1]

C = np.cov(np.transpose(X))
print('Cov: ',C)

U, s, V = LA.svd(C)
print('SVDs: ',s)

w, v = LA.eig(C)
print('eigen vals: ',w)

Đầu ra:

Cov:  [[ 0.08311516  0.08311516]
 [ 0.08311516  0.08311516]]
SVDs:  [  1.66230312e-01   5.66687522e-18]
eigen vals:  [ 0.          0.16623031]

Cập nhật

Trả lời nhận xét của Federico Poloni, đây là đoạn mã kiểm tra độ ổn định của SVD so với Eig trên 1000 mẫu ngẫu nhiên của cùng một ma trận ở trên. Trong nhiều trường hợp, Eig hiển thị 0 giá trị eigen nhỏ, điều này sẽ dẫn đến tính đơn lẻ của ma trận và SVD không làm điều đó ở đây. SVD chính xác hơn gấp đôi so với xác định giá trị bản địa nhỏ, điều này có thể hoặc không quan trọng tùy thuộc vào vấn đề của bạn.

import numpy as np
import math
from scipy.linalg import toeplitz
from numpy import linalg as LA

np.random.seed(1)

# create the highly collinear series
T = 100
p = 2
eps = 1e-8

m = 1000 # simulations
err = np.ones((m,2)) # accuracy of small eig value
for j in range(m):
    u = np.random.rand(T,p)
    X = np.ones(u.shape)
    X[:,0] = u[:,0]
    for i in range(1,p):
        X[:,i] = eps*u[:,i]+u[:,0]

    C = np.cov(np.transpose(X))

    U, s, V = LA.svd(C)

    w, v = LA.eig(C)

    # true eigen values
    te = eps**2/2 * np.var(u[:,1])*(1-np.corrcoef(u,rowvar=False)[0,1]**2)
    err[j,0] = s[p-1] - te
    err[j,1] = np.amin(w) - te


print('Cov: ',C)
print('SVDs: ',s)
print('eigen vals: ',w)
print('true small eigenvals: ',te)

acc = np.mean(np.abs(err),axis=0)    
print("small eigenval, accuracy SVD, Eig: ",acc[0]/te,acc[1]/te)

Đầu ra:

Cov:  [[ 0.09189421  0.09189421]
 [ 0.09189421  0.09189421]]
SVDs:  [ 0.18378843  0.        ]
eigen vals:  [  1.38777878e-17   1.83788428e-01]
true small eigenvals:  4.02633695086e-18
small eigenval, accuracy SVD, Eig:  2.43114702041 3.31970128319

Ở đây mã mã hoạt động. Thay vì tạo ma trận hiệp phương sai ngẫu nhiên để kiểm tra các thói quen, tôi đang tạo ma trận dữ liệu ngẫu nhiên với hai biến:

$$x_1=u\\ x_2=u+\varepsilon v$$ $u,v$ $$\begin{pmatrix} \sigma_1^2 & \sigma_1^2 + \varepsilon \rho \sigma_1 \sigma_2\\ \sigma_1^2 + \varepsilon \rho \sigma_1 \sigma_2 & \sigma_1^2 + 2 \varepsilon \rho \sigma_1 \sigma_2 + \varepsilon^2 \sigma_2^2\sigma^2\end{pmatrix}$$ $\sigma_1^2,\sigma_2^2,\rho$

$$\lambda= \frac 1 2 \left(\sigma_2^2 \varepsilon^2 - \sqrt{\sigma_2^4 \varepsilon^4 + 4 \sigma_2^3 \rho \sigma_1 \varepsilon^3 + 8 \sigma_2^2 \rho^2 \sigma_1^2 \varepsilon^2 + 8 \sigma_2 \rho \sigma_1^3 \varepsilon + 4 \sigma_1^4} + 2 \sigma_2 \rho \sigma_1 \varepsilon + 2 \sigma_1^2\right)$$ $\varepsilon$ $$\lambda\approx \sigma_2^2 \varepsilon^2 (1-\rho^2)/2$$

$j=1,\dots,m$$\hat\lambda_j$$e_j=\lambda-\hat\lambda_j$

Đối với người dùng Python, tôi muốn chỉ ra rằng đối với các ma trận đối xứng (như ma trận hiệp phương sai), tốt hơn là sử dụng numpy.linalg.eighhàm thay vì numpy.linalg.eighàm chung .

eighnhanh hơn 9-10 lần so với eigtrên máy tính của tôi (bất kể kích thước ma trận) và có độ chính xác tốt hơn (dựa trên thử nghiệm độ chính xác của @ Aksakal).

Tôi không bị thuyết phục với việc chứng minh lợi ích chính xác của SVD với các giá trị riêng nhỏ. Thử nghiệm của @ Aksakal là 1-2 bậc độ nhạy cảm với trạng thái ngẫu nhiên hơn so với thuật toán (thử vẽ tất cả các lỗi thay vì giảm chúng đến một mức tối đa tuyệt đối). Điều đó có nghĩa là các lỗi nhỏ trong ma trận hiệp phương sai sẽ có ảnh hưởng lớn hơn đến độ chính xác so với việc lựa chọn thuật toán eigendecysis. Ngoài ra, điều này không liên quan đến câu hỏi chính, đó là về PCA. Các thành phần nhỏ nhất được bỏ qua trong PCA.

Một lập luận tương tự có thể được thực hiện về sự ổn định số. Nếu tôi phải sử dụng phương pháp ma trận hiệp phương sai cho PCA, tôi sẽ phân tách nó bằng eighthay vì svd. Nếu nó không thành công (chưa được chứng minh ở đây), thì có lẽ nên xem xét lại vấn đề mà bạn đang cố gắng giải quyết trước khi bắt đầu tìm kiếm một thuật toán tốt hơn.

$m$$n$$m \gg n$

Tính toán ma trận hiệp phương sai và sau đó thực hiện SVD trên đó nhanh hơn rất nhiều so với tính toán SVD trên ma trận dữ liệu đầy đủ trong các điều kiện này, cho cùng một kết quả.

Ngay cả đối với các giá trị khá nhỏ, hiệu suất đạt được là hàng nghìn (mili giây so với giây). Tôi đã chạy một vài thử nghiệm trên máy để so sánh bằng Matlab:

Đó chỉ là thời gian của CPU, nhưng nhu cầu lưu trữ cũng quan trọng không kém. Nếu bạn thử SVD trên một triệu bởi một nghìn ma trận trong Matlab, nó sẽ bị lỗi theo mặc định, vì nó cần kích thước mảng làm việc là 7.4TB.