Tôi có thể sử dụng ReLU trong autoencoder làm chức năng kích hoạt không?

Khi thực hiện một bộ mã hóa tự động với mạng thần kinh, hầu hết mọi người sẽ sử dụng sigmoid làm chức năng kích hoạt.

Chúng ta có thể sử dụng ReLU thay thế không? (Vì ReLU không có giới hạn ở giới hạn trên, về cơ bản có nghĩa là hình ảnh đầu vào có thể có pixel lớn hơn 1, không giống như các tiêu chí hạn chế cho bộ mã hóa tự động khi sử dụng sigmoid).

Đây là một chủ đề thảo luận (từ tháng 7 năm 2013) chỉ ra rằng có thể có một số vấn đề với nó, nhưng nó có thể được thực hiện.

Ağlar Gülçehre (từ phòng thí nghiệm của Yoshua Bengio) cho biết ông đã sử dụng thành công kỹ thuật sau đây trong các vấn đề kiến ​​thức: Tầm quan trọng của thông tin trước để tối ưu hóa :

huấn luyện DAE đầu tiên như bình thường, nhưng với bộ chỉnh lưu trong lớp ẩn: a1(x) = W1 x + b1 h1 = f1(x) = rectifier(a1(x)) g1(h1) = {sigmoid}(V1 h1 + c1) giảm thiểu mất entropy chéo hoặc mất MSE, so sánh g1 (f1 (hỏng (x))) và x. sigmoid là tùy chọn tùy thuộc vào dữ liệu.

huấn luyện DAE thứ 2 với tiếng ồn được thêm vào trước bộ chỉnh lưu F1 và sử dụng các đơn vị tái cấu trúc phần mềm bị mất MSE: h2 = f2(h1) = rectifier(W2 h1 + b2) g2(h2) = softplus(V2 h2 + c2) tối thiểu hóa$\lVert f_1(x) - g_2(f_2(\mathrm{rectifier}(\mathrm{corrupt}(a_1(x))))) \rVert^2 + \lambda_1 \lVert W \rVert_1 + \lambda_2 \lVert W \rVert_2$

Xavier Glorot, cũng từ phòng thí nghiệm Bengio, cho biết ông đã làm như vậy trừ thay thế với một phạt "trên các giá trị kích hoạt" (có lẽ là ?) Ở cả hai miền Thích ứng cho Phân loại tình cảm quy mô lớn: Cách tiếp cận học tập sâu (ICML 2011) và trong các mạng thần kinh chỉnh lưu thưa thớt sâu (AISTATS 2011).$\lVert W \rVert_1$$L_1$$\lVert g_2(\dots) \rVert_1$