Sự khác biệt giữa PCA và autoencoder là gì?

Cả PCA và autoencoder đều có thể thực hiện giảm dân số, vậy sự khác biệt giữa chúng là gì? Trong tình huống nào tôi nên sử dụng cái này hơn cái khác?

PCA bị giới hạn trong bản đồ tuyến tính, trong khi bộ mã hóa tự động có thể có bộ giải mã / giải mã phi tuyến.

Một bộ mã hóa tự động một lớp với chức năng truyền tuyến tính gần tương đương với PCA, trong đó gần như có nghĩa là được tìm thấy bởi AE và PCA sẽ không giống nhau - nhưng không gian con được kéo dài theo ý muốn của tương ứng .$W$$W$

Như bayerj chỉ ra PCA là phương pháp giả định các hệ thống tuyến tính trong đó như Autoencoders (AE) thì không. Nếu không có chức năng phi tuyến tính được sử dụng trong AE và số lượng tế bào thần kinh trong lớp ẩn có kích thước nhỏ hơn thì đầu vào thì PCA và AE có thể mang lại kết quả tương tự. Nếu không, AE có thể tìm thấy một không gian con khác.

Một điều cần lưu ý là lớp ẩn trong AE có thể có chiều lớn hơn so với lớp đầu vào. Trong những trường hợp như vậy, AE có thể không thực hiện giảm kích thước. Trong trường hợp này, chúng tôi cảm nhận chúng là thực hiện chuyển đổi từ không gian tính năng này sang không gian tính năng khác trong đó dữ liệu trong không gian tính năng mới loại bỏ các yếu tố biến đổi.

Liên quan đến câu hỏi của bạn về việc nhiều lớp có nghĩa là phi tuyến tính rất phức tạp trong phản ứng của bạn với bayerj. Tùy thuộc vào ý của bạn bởi "phi tuyến tính rất phức tạp", điều này có thể đúng. Tuy nhiên độ sâu thực sự là cung cấp khái quát tốt hơn. Nhiều phương pháp yêu cầu số lượng mẫu bằng nhau bằng số vùng. Tuy nhiên, nó chỉ ra rằng "một số lượng rất lớn các vùng, ví dụ, , có thể được định nghĩa bằng các ví dụ " theo Bengio et al . Đây là kết quả của sự phức tạp trong biểu diễn phát sinh từ việc kết hợp các tính năng thấp hơn từ các lớp thấp hơn trong mạng.O ( N $O(2^N)$$O(N)$

Điều này phù hợp hơn như là một nhận xét nhưng vì tôi thiếu danh tiếng vì nó sẽ được đưa ra như một câu trả lời.

Tôi hơi bối rối với khái niệm gần như trong câu trả lời của bayerj: s. Đọc mạng nơ-ron và phân tích thành phần chính: Học từ các ví dụ không có Minima cục bộ nơi đưa ra bằng chứng.

'' Trong trường hợp liên kết tự động ... và do đó, bản đồ tối ưu cục bộ và toàn cầu duy nhất W là hình chiếu trực giao lên không gian được kéo dài bởi các hàm riêng đầu tiên của '' Σ X $p$$\Sigma_{XX}$

Đây có phải là không gian chính xác như được mở rộng bởi PCA không?

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$$N$ $n-$$X$$\mathbf{x}_1,\dots,\mathbf{x}_N$

$\hat{\mathbf{x}}$$W_1\in \mathbb{R}^{n \times m}$$W_2\in \mathbb{R}^{m \times n}$$m < n$

$m$$W_2$$m$$X$

$W_2$$m$$X$$X$$n \times N$$W_2$$m\times n$$W_2$$O(m^2n)$$X$$O(n^2N)$$m < n$