Làm trắng da luôn tốt?

Một bước tiền xử lý phổ biến cho các thuật toán học máy là làm trắng dữ liệu.

Có vẻ như nó luôn luôn tốt để làm trắng vì nó không tương quan dữ liệu, làm cho nó đơn giản hơn để mô hình hóa.

Khi nào nên tẩy trắng răng?

Lưu ý: Tôi đang đề cập đến việc không tương quan dữ liệu.

Làm trắng trước là một khái quát của chuẩn hóa tính năng, làm cho đầu vào độc lập bằng cách chuyển đổi nó theo ma trận hiệp phương sai đầu vào được chuyển đổi. Tôi không thể thấy tại sao điều này có thể là một điều xấu.

Tuy nhiên, một tìm kiếm nhanh đã tiết lộ "Tính khả thi của việc làm trắng dữ liệu để cải thiện hiệu suất của Radar thời tiết" ( pdf ) có nội dung:

Đặc biệt, làm trắng hoạt động tốt trong trường hợp ACF theo cấp số nhân (phù hợp với kết quả của Monakov) nhưng kém hơn trong trường hợp của Gaussian. Sau khi thử nghiệm bằng số, chúng tôi thấy rằng trường hợp Gaussian bị bệnh số theo nghĩa là số điều kiện (tỷ lệ giữa giá trị riêng tối đa và tối thiểu) là cực kỳ lớn đối với ma trận hiệp phương sai Gauss.

Tôi không được giáo dục đủ để bình luận về điều này. Có thể câu trả lời cho câu hỏi của bạn là làm trắng luôn tốt nhưng có một số vấn đề nhất định (ví dụ, với dữ liệu ngẫu nhiên, nó sẽ không hoạt động tốt nếu được thực hiện thông qua chức năng tự tương quan Gaussian).

Thứ nhất, tôi nghĩ rằng khử tương quan và làm trắng là hai thủ tục riêng biệt.

Để khử tương quan dữ liệu, chúng ta cần chuyển đổi nó để dữ liệu được chuyển đổi sẽ có ma trận hiệp phương sai chéo. Biến đổi này có thể được tìm thấy bằng cách giải quyết vấn đề eigenvalue. Chúng tôi tìm ra vector riêng và giá trị riêng liên quan của hiệp phương sai ma trận bởi giải quyết${\bf \Sigma} = {\bf X}{\bf X}'$

$${\bf \Sigma}{\bf \Phi} = {\bf \Phi} {\bf \Lambda}$$

nơi là một ma trận đường chéo có giá trị riêng như các yếu tố đường chéo của nó.${\bf \Lambda}$

Ma trận do đó diagonalizes ma trận hiệp phương sai của X . Các cột của Φ là vector riêng của ma trận hiệp phương sai.${\bf \Phi}$${\bf X}$${\bf \Phi}$

Chúng ta cũng có thể viết hiệp phương sai chéo là:

$${\bf \Phi}' {\bf \Sigma} {\bf \Phi} = {\bf \Lambda} \tag{1}$$

${\bf x}_i$

$${\bf x}_i^* = {\bf \Phi}' {\bf x}_i \tag{2}$$

${\bf \Lambda}$

$${\bf \Lambda}^{-1/2} {\bf \Lambda} {\bf \Lambda}^{-1/2} = {\bf I}$$

$(1)$

$${\bf \Lambda}^{-1/2} {\bf \Phi}' {\bf \Sigma} {\bf \Phi} {\bf \Lambda}^{-1/2} = {\bf I}$$

${\bf x}_i^*$${\bf x}_i^\dagger$

$${\bf x}_i^{\dagger} = {\bf \Lambda}^{-1/2} {\bf x}_i^* = {\bf \Lambda}^{-1/2}{\bf \Phi}'{\bf x}_i \tag 3$$

${\bf x}_i^\dagger$${\bf x}_i^\dagger$${\bf E}({\bf x}_i^\dagger {{\bf x}_i^\dagger}') = {\bf I}$

${\bf \Sigma}$

Và cuối cùng, có một "gotcha" chung mà mọi người nên cẩn thận. Bạn phải cẩn thận khi tính toán các hệ số tỷ lệ trên dữ liệu huấn luyện và sau đó bạn sử dụng các phương trình (2) và (3) để áp dụng các hệ số tỷ lệ tương tự cho dữ liệu thử nghiệm, nếu không bạn có nguy cơ bị quá mức (bạn sẽ sử dụng thông tin từ bộ kiểm tra trong quá trình đào tạo).

Nguồn: http://cifts.media.mit.edu/2010fall/mas622j/whiten.pdf

Từ http://cs231n.github.io/neural-networks-2/

Một điểm yếu của phép biến đổi này là nó có thể phóng đại nhiễu rất lớn trong dữ liệu, vì nó kéo dài tất cả các kích thước (bao gồm cả các kích thước không liên quan của phương sai nhỏ mà chủ yếu là nhiễu) có kích thước bằng nhau trong đầu vào. Điều này trong thực tế có thể được giảm thiểu bằng cách làm mịn mạnh hơn ...

Thật không may, tôi không được giáo dục đủ để bình luận thêm về điều này.