Sự khác biệt giữa làm trắng ZCA và làm trắng PCA là gì?

Tôi bối rối về làm trắng ZCA và làm trắng bình thường (có được bằng cách chia các thành phần chính cho căn bậc hai của giá trị bản địa PCA). Theo như tôi biết,

x_{Z C Một w h Tôi t e} = = Bạn x_{P C Một w h Tôi t e},

$\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite},$ trong đó

U

$\mathbf U$ là các hàm riêng của PCA.

Công dụng của tẩy trắng răng ZCA là gì? Sự khác biệt giữa làm trắng bình thường và làm trắng ZCA là gì?

pca dimensionality-reduction image-processing

— RockTheStar
nguồn

Theo "Mạng lưới thần kinh: Thủ thuật của thương mại", PCA và ZCA chỉ khác nhau bởi một vòng quay.

— Martin Thoma

Câu trả lời:

Hãy để bạn (trung tâm) dữ liệu được lưu trữ trong một ma trận với tính năng (biến) trong các cột và điểm dữ liệu trong hàng. Hãy để cho ma trận hiệp phương sai có vector riêng trong cột và giá trị riêng trên đường chéo của , do đó . $n\times d$ $\mathbf X$ $d$ $n$ $\mathbf C=\mathbf X^\top \mathbf X/n$ $\mathbf E$ $\mathbf D$ $\mathbf C = \mathbf E \mathbf D \mathbf E^\top$

Sau đó, những gì bạn gọi là "bình thường" chuyển đổi làm trắng PCA được cho bởi , xem ví dụ câu trả lời của tôi trong Làm thế nào để làm trắng các dữ liệu sử dụng phép phân tích thành phần chính? $\mathbf W_\mathrm{PCA} = \mathbf D^{-1/2} \mathbf E^\top$

Tuy nhiên, sự chuyển đổi làm trắng này không phải là duy nhất. Thật vậy, dữ liệu được làm trắng sẽ được giữ trắng sau bất kỳ phép quay nào, điều đó có nghĩa là bất kỳ với ma trận trực giao cũng sẽ là một phép biến đổi làm trắng. Trong những gì được gọi ZCA làm trắng, chúng ta lấy (xếp chồng lên nhau cùng vector riêng của ma trận hiệp phương sai) như ma trận trực giao này, tức là $\mathbf W = \mathbf R \mathbf W_\mathrm{PCA}$ $\mathbf R$ $\mathbf E$

W_{Z C Một} = = E {CƯỜI MỞ MIỆNG}^{- 1 / 2} E^{⊤} = = C^{- 1 / 2} .

$\mathbf W_\mathrm{ZCA} = \mathbf E \mathbf D^{-1/2} \mathbf E^\top = \mathbf C^{-1/2}.$

Một thuộc tính xác định của chuyển đổi ZCA ( đôi khi còn được gọi là "chuyển đổi Mahalanobis") là nó dẫn đến dữ liệu trắng gần với dữ liệu gốc nhất (theo nghĩa bình phương nhỏ nhất). Nói cách khác, nếu bạn muốn giảm thiểu tùy thuộc vào được làm trắng, sau đó bạn nên tham gia . Đây là một minh họa 2D: $\|\mathbf X - \mathbf X \mathbf A^\top\|^2$ $\mathbf X \mathbf A^\top$ $\mathbf A = \mathbf W_\mathrm{ZCA}$

PCA và ZCA làm trắng

$\mathbf W_\mathrm{PCA}$ $\mathbf W_\mathrm{ZCA}$ $\mathbf E$ .

Thuật ngữ "ZCA" dường như đã được giới thiệu trong Bell và Sejnowski 1996trong bối cảnh phân tích thành phần độc lập và là viết tắt của "phân tích thành phần không pha". Xem ở đó để biết thêm chi tiết. Rất có thể, bạn đã gặp thuật ngữ này trong bối cảnh xử lý hình ảnh. Hóa ra, khi được áp dụng cho một loạt các hình ảnh tự nhiên (pixel là các tính năng, mỗi hình ảnh như một điểm dữ liệu), các trục chính trông giống như các thành phần Fourier có tần số tăng dần, xem cột đầu tiên của Hình 1 bên dưới. Vì vậy, họ rất "toàn cầu". Mặt khác, các hàng chuyển đổi ZCA trông rất "cục bộ", xem cột thứ hai. Điều này là chính xác bởi vì ZCA cố gắng chuyển đổi dữ liệu ít nhất có thể và do đó, mỗi hàng tốt hơn nên gần với một hàm cơ sở ban đầu (sẽ là hình ảnh chỉ có một pixel hoạt động). Và điều này có thể đạt được,

PCA và ZCA tại Bell và Sejnowski 1996

Cập nhật

Các ví dụ khác về bộ lọc ZCA và hình ảnh được chuyển đổi bằng ZCA được đưa ra trong Krizhevsky, 2009, Học nhiều lớp tính năng từ hình ảnh nhỏ , xem thêm ví dụ trong câu trả lời của @ bayerj (+1).

Tôi nghĩ những ví dụ này đưa ra ý tưởng về việc làm trắng ZCA có thể thích hợp hơn với PCA. Cụ thể, hình ảnh được làm trắng ZCA vẫn giống với hình ảnh bình thường , trong khi hình ảnh được làm trắng bằng PCA trông không giống hình ảnh bình thường. Điều này có lẽ rất quan trọng đối với các thuật toán như mạng nơ ron tích chập (ví dụ như được sử dụng trong bài báo của Krizhevsky), xử lý các pixel lân cận với nhau và phụ thuộc rất nhiều vào các thuộc tính cục bộ của hình ảnh tự nhiên. Đối với hầu hết các thuật toán học máy khác, nó hoàn toàn không liên quan cho dù dữ liệu được làm trắng bằng PCA hay ZCA.

— amip nói phục hồi Monica
nguồn

Cảm ơn! Tôi có một câu hỏi: điều đó có nghĩa là ZCA về cơ bản thay đổi quyền truy cập, nhưng không thay đổi nhiều vị trí của dữ liệu? (dựa trên khu vực bóng của bạn). Ngoài ra, điều đó có nghĩa là bất cứ khi nào chúng ta làm trắng, chúng ta nên làm trắng ZCA? Làm thế nào chúng ta sẽ quyết định sử dụng PCAwhitening hoặc ZCA làm trắng?

— RockTheStar

(1) Tôi không chắc chính xác ý bạn là gì, nhưng tôi sẽ nói như thế: ZCA kéo dài tập dữ liệu để làm cho nó hình cầu, nhưng cố gắng không xoay nó (trong khi PCA không xoay nó khá nhiều). (2) Tôi thực sự nghĩ rằng trong hầu hết các trường hợp, việc bạn sử dụng tẩy trắng PCA hay ZCA không thành vấn đề. Tình huống duy nhất tôi có thể tưởng tượng nơi ZCA có thể thích hợp hơn, là xử lý trước cho các mạng thần kinh tích chập. Xin vui lòng xem một bản cập nhật cho câu trả lời của tôi.

— amip nói phục hồi Monica

PCA giống như thực hiện một biến đổi Fourier, ZCA giống như biến đổi, nhân và biến đổi trở lại, áp dụng bộ lọc tuyến tính (không pha). Vì vậy, những gì chúng ta thấy có phản ứng xung bộ lọc ở mỗi pixel. Các "thành phần" liên quan đến hoạt động là như nhau, các cột của E, là "thành phần chính" ... Ý tôi là, bạn cũng có thể gọi các hàng của các thành phần W, nhưng tôi nghĩ điều quan trọng là phải hiểu rằng cùng "các thành phần chính" có liên quan và khi bạn áp dụng ZCA, bạn quay lại miền gốc, trong khi với PCA, bạn cần "tái tạo" tín hiệu.

— splititherzero

@dividitherzero +1 để bình luận cuối cùng của bạn, tôi nghĩ rằng đây là một quan điểm có giá trị. Trong mọi trường hợp, tôi hy vọng ý nghĩa của hình cuối cùng của tôi (được lấy từ bài báo được liên kết) bây giờ đã rõ ràng.

— amip nói rằng Phục hồi lại

@learning Bạn không thấy hình ảnh trắng PCA trên trang đó! Chúng hiển thị "hình ảnh giảm kích thước PCA", tức là tái tạo thông qua PCA, nhưng không phải là hình chiếu của PCA.

— amip nói rằng Phục hồi Monica

\bar{X} {\bar{X}}^{T} = = L CƯỜI MỞ MIỆNG L^{T}

$\bar{X}\bar{X}^T = LDL^T$

D = diag (λ_{1}, λ_{2}, \dots, λ_{n})

$D = \text{diag}(\lambda_1, \lambda_2, \dots, \lambda_n)$

\sqrt{{CƯỜI MỞ MIỆNG}^{- 1}} L^{- 1} \bar{X} {\bar{X}}^{T} L^{- T} \sqrt{{CƯỜI MỞ MIỆNG}^{- 1}} = = \sqrt{{CƯỜI MỞ MIỆNG}^{- 1}} L^{- 1} L CƯỜI MỞ MIỆNG L^{T} L^{- T} \sqrt{{CƯỜI MỞ MIỆNG}^{- 1}} = = Tôi

$\sqrt{D^{-1}}L^{-1}\bar{X}\bar{X}^TL^{-T}\sqrt{D^{-1}} = \sqrt{D^{-1}}L^{-1}LDL^TL^{-T}\sqrt{D^{-1}} \\ = \mathbf{I}$

\tilde{X} = = \sqrt{{CƯỜI MỞ MIỆNG}^{- 1}} L^{- 1} X .

$\tilde{X} = \sqrt{D^{-1}}L^{-1}X.$

\tilde{X} = = L \sqrt{(CƯỜI MỞ MIỆNG + ε)^{- 1}} L^{- 1} X .

$\tilde{X} = L\sqrt{(D + \epsilon)^{-1}}L^{-1}X.$

Trước ZCA:

trước ZCA

$\epsilon = 0.0001$

sau ZCA 1e-4

$\epsilon = 0.1$

sau ZCA với .1

Đối với dữ liệu tầm nhìn, dữ liệu tần số cao thường sẽ nằm trong không gian được kéo dài bởi Eigenvalues thấp hơn. Do đó ZCA là một cách để tăng cường những điều này, dẫn đến các cạnh rõ hơn, v.v.

— bayerj
nguồn

Không nên thêm epsilon trước khi nghịch đảo? Tôi nghĩ rằng nó chỉ đơn giản được thêm vào để ổn định nghịch đảo trong trường hợp giá trị bản địa gần như bằng không. Vì vậy, thực sự nếu nó có ý nghĩa để thêm nó để làm trắng ZCA, thì nó cũng có ý nghĩa để thêm nó để làm trắng PCA.

— amip nói rằng Phục hồi lại

Vâng, trước khi nghịch đảo, cảm ơn. Vì điều này thường được thực hiện với SVD trong thực tế, tôi không biết liệu việc ổn định đảo ngược có cần thiết hay không.

— bayerj

Tôi đã thêm một hình ảnh khác để hiển thị hiệu ứng.

— bayerj

D^{- 1 / 2} L^{⊤}

$D^{-1/2}L^\top$

(1) đồng ý. Tôi không có trực giác về điều đó có nghĩa là gì. (2) Kiến thức phân rã của tôi không đầy đủ ở đây, nhưng tôi cho rằng một ma trận đảo ngược cổ điển trên ma trận hiệp phương sai số ít sẽ thất bại, trong khi SVD trên ma trận dữ liệu dẫn đến hiệp phương sai số ít thì không. (3) Cảm ơn, sẽ sửa nó. (4) Từ mã của tôi :) (5) Tôi đưa ra giả thuyết rằng đối với nhiều thuật toán đưa ra các biểu diễn không hoàn chỉnh (ví dụ: GainShape K-Means, Bộ mã hóa tự động, RICA) và / hoặc thực hiện một công việc tương tự như tính độc lập đại số PCA của các tính năng, nhưng Tôi không có kiến thức cứng về điều này.

— bayerj