Tại sao các bộ tự động cho giảm kích thước đối xứng?

Tôi không phải là một chuyên gia về bộ tự động hoặc mạng nơ-ron bằng mọi cách, vì vậy hãy tha thứ cho tôi nếu đây là một câu hỏi ngớ ngẩn.

Với mục đích giảm kích thước hoặc hiển thị các cụm trong dữ liệu chiều cao, chúng ta có thể sử dụng bộ mã hóa tự động để tạo biểu diễn 2 chiều (mất) bằng cách kiểm tra đầu ra của lớp mạng với 2 nút. Ví dụ, với kiến ​​trúc sau, chúng tôi sẽ kiểm tra đầu ra của lớp thứ ba

$[X] \rightarrow N_1=100 \rightarrow N_2=25 \rightarrow (N_3=2) \rightarrow N_4=25 \rightarrow N_5=100 \rightarrow [X]$

Trong đó là dữ liệu đầu vào và là số nút trong lớp thứ .$X$$N_l$$l$

Bây giờ, câu hỏi của tôi là, tại sao chúng ta muốn một kiến ​​trúc đối xứng? Không phải là một tấm gương của pha 'nén' sâu có nghĩa là chúng ta có thể có pha 'giải nén' phức tạp tương tự dẫn đến đầu ra 2 nút không bị buộc phải rất trực quan? Nói cách khác, sẽ không có giai đoạn giải mã đơn giản hơn dẫn đến kết quả đầu ra của lớp có 2 nút nhất thiết phải đơn giản hơn?

Suy nghĩ của tôi ở đây là giai đoạn giải nén càng ít phức tạp thì việc biểu diễn 2D càng đơn giản (tuyến tính hơn?). Một pha giải nén phức tạp hơn sẽ cho phép biểu diễn 2D phức tạp hơn.

Không có ràng buộc cụ thể về tính đối xứng của bộ tự động mã hóa.

Lúc đầu, mọi người có xu hướng thực thi đối xứng như vậy đến mức tối đa: không chỉ các lớp là đối xứng, mà cả trọng số của các lớp trong bộ mã hóa và giải mã được chia sẻ . Đây không phải là một yêu cầu, nhưng nó cho phép sử dụng các hàm mất mát nhất định (ví dụ: khớp điểm số RBM) và có thể hoạt động như chính quy , khi bạn giảm một nửa số lượng tham số để tối ưu hóa một cách hiệu quả. Tuy nhiên, ngày nay, tôi nghĩ rằng không ai áp đặt chia sẻ trọng lượng bộ giải mã.

Về tính đối xứng kiến ​​trúc, người ta thường tìm thấy cùng một số lớp, cùng loại lớp và cùng kích cỡ lớp trong bộ mã hóa và bộ giải mã, nhưng không cần điều đó.

Ví dụ, trong autoencoders xoắn, trong quá khứ nó đã rất phổ biến để tìm lớp xoắn trong bộ mã hóa và deconvolutional lớp trong các bộ giải mã, nhưng bây giờ bạn thường thấy lớp upsampling trong các bộ giải mã bởi vì họ có các đồ tạo tác các vấn đề ít hơn.

Câu hỏi của bạn chắc chắn được đặt ra, tuy nhiên tôi thấy rằng bất kỳ câu hỏi nào ở định dạng "tôi nên làm X hoặc Y khi học sâu?" chỉ có một câu trả lời.

Hãy thử cả hai

Học sâu là một lĩnh vực rất thực nghiệm và nếu một bộ mã hóa tự động không đối xứng hoạt động cho miền của bạn, thì hãy sử dụng nó (và xuất bản một bài báo)

Tôi đã làm một số thí nghiệm rộng rãi để giải quyết câu hỏi. Các thí nghiệm của tôi chỉ ra rằng đường dẫn mã hóa (chân trái của NN) nên có các lớp ít hơn nhưng rộng hơn. Tôi thường lấy một nửa số lớp như vậy, nhưng nhân đôi số nút cho đường dẫn mã hóa. Tôi không có lời giải thích cho điều này, chỉ là những cấu hình này thường dẫn đến sự hội tụ nhanh hơn.