Mối quan hệ giữa người bản địa của

Trong cuốn sách Nhận dạng mẫu và học máy của Christopher Bishop , phần trên PCA có phần như sau:

Đưa ra một ma trận dữ liệu trung tâm với ma trận hiệp phương sai , phương trình eigenvector là: $\mathbf{X}$ $N^{-1}\mathbf{X}^T\mathbf{X}$

N^{- 1} X^{T} X u_{i} = λ_{i} u_{i} .

$N^{-1}\mathbf{X}^T\mathbf{X} \mathbf{u}_i = \lambda_i \mathbf{u}_i.$

Xác định $\mathbf{v}_i = \mathbf{X} \mathbf{u}_i$ , Giám mục tuyên bố rằng nếu $\mathbf{u}_i$ và $\mathbf{v}_i$ có độ dài đơn vị, thì:

u_{i} = \frac{1}{(N λ_{i})^{\frac{1}{2}}} X^{T} v_{i} .

$\mathbf{u}_i = \frac{1}{(N\lambda_i)^{\frac{1}{2}}}\mathbf{X}^T\mathbf{v}_i.$

Căn bậc hai đến từ đâu?

BIÊN TẬP:

Cụ thể, tại sao sau đây không hợp lệ:

$\frac{1}{N}\mathbf{X}^T\mathbf{X}\mathbf{u}_i = \lambda \mathbf{u}_i$

$\Rightarrow \frac{1}{N}\mathbf{X}^T \mathbf{v}_i = \lambda \mathbf{u}_i$ bằng cách sử dụng $\mathbf{v}_i = \mathbf{Xu}_i$

$\Rightarrow \frac{1}{N\lambda_i}\mathbf{X}^T \mathbf{v}_i = \mathbf{u}_i$

Kết quả tương tự, nhưng không có căn bậc hai.

pca linear-algebra

— Daniel
nguồn

Căn bậc hai xuất phát từ yêu cầu của PCA rằng ma trận hiệp phương sai của dữ liệu được chuyển đổi là ma trận danh tính. Nếu không có nó, bạn sẽ làm và bạn sẽ không nhận được bất cứ nơi nào.

V V^{T} x = I x = x

$VV^T x = Ix = x$

— phỏng đoán

@amoeba Tôi đã mở rộng câu hỏi của mình để chứa chính xác vấn đề tôi đang gặp phải, tôi cũng sẽ bao gồm nhiều bối cảnh hơn nếu cần thiết.

— Danny

"... Sử dụng " không được chứng minh bằng phương trình xác định và thường không đúng.

v_{i} = X u_{i}

$v_i=Xu_i$

v_{i} X = u_{i}

$v_iX=u_i$

— whuber

@whuber Rất tiếc. đó là một lỗi đánh máy, cuốn sách xác định . Cảm ơn

v_{i} = X u_{i}

$v_i = Xu_i$

— Daniel

Điều này đề cập đến phần ngắn 12.1.4 PCA cho dữ liệu chiều cao trong cuốn sách của Giám mục. Tôi có thể thấy rằng phần này có thể hơi khó hiểu, bởi vì Giám mục sẽ qua lại giữa và sử dụng ký hiệu hơi không nhất quán. $\newcommand{\X}{\mathbf X}\newcommand{\v}{\mathbf v}\newcommand{\u}{\mathbf u}\v_i$ $\u_i$

Phần này nói về mối quan hệ giữa các hàm riêng của ma trận hiệp phương sai và các hàm riêng của ma trận Gram ( trong bối cảnh của PCA). Đặt là một hàm riêng có độ dài đơn vị của : $\frac{1}{N}\X^\top \X$ $\frac{1}{N}\X \X^\top$ $\v_i$ $\frac{1}{N}\X \X^\top$

\frac{1}{N} X X^{⊤} v_{i} = λ_{i} v_{i} .

$\frac{1}{N}\X \X^\top \v_i = \lambda_i \v_i.$

Nếu chúng ta nhân phương trình này với từ bên trái: $\X^\top$

\frac{1}{N} X^{⊤} X (X^{⊤} v_{i}) = λ_{i} (X^{⊤} v_{i}),

$\frac{1}{N}\X^\top \X (\X^\top \v_i) = \lambda_i (\X^\top \v_i),$

chúng ta thấy rằng là một eigenvector của . $\X^\top \v_i$ $\frac{1}{N}\X^\top \X$

Tuy nhiên, nó sẽ không có đơn vị chiều dài! Thật vậy, chúng ta hãy tính độ dài của nó: Vì vậy, độ dài bình phương của bằng với . Do đó, nếu chúng ta muốn chuyển đổi thành một hàm riêng ma trận hiệp phương sai độ dài đơn vị , chúng ta cần chuẩn hóa nó có độ dài đơn vị:

‖ X^{⊤} v_{i} ‖^{2} = (X^{⊤} v_{i})^{⊤} X^{⊤} v_{i} = v_{i}^{⊤} X X^{⊤} v_{i} = v_{i} (N λ v_{i}) = N λ ‖ v_{i} ‖^{2} = N λ_{i} .

$\|\X^\top \v_i\|^2=(\X^\top \v_i)^\top \X^\top \v_i = \v_i^\top \X\X^\top \v_i=\v_i(N\lambda v_i)=N\lambda\|\v_i\|^2=N\lambda_i.$

X^{⊤} v_{i}

$\X^\top \v_i$

N λ_{i}

$N\lambda_i$

v_{i}

$\v_i$

u_{i}

$\u_i$

u_{i} = \frac{1}{(N λ_{i})^{1 / 2}} X^{⊤} v_{i} .

$\u_i = \frac{1}{(N\lambda_i)^{1/2}}\X^\top \v_i.$

(Xin lưu ý rằng ở trên không sử dụng định nghĩa mà bạn đã trích dẫn. Thay vào đó, chúng tôi đã bắt đầu trực tiếp với một đơn vị độ dài . Tôi tin rằng đây có thể là nguồn gốc của sự nhầm lẫn của bạn. Giám mục sử dụng định nghĩa trước đó trong phần, nhưng nó không còn phù hợp nữa cho đối số cụ thể này.) $\v_i=\X\u_i$ $\v_i$ $\v_i=\X\u_i$

— amip
nguồn