Những lợi thế của ReLU so với chức năng sigmoid trong các mạng lưới thần kinh sâu là gì?

Trạng thái của nghệ thuật phi tuyến tính là sử dụng các đơn vị tuyến tính chỉnh lưu (ReLU) thay vì chức năng sigmoid trong mạng lưới thần kinh sâu. Các lợi thế là gì?

Tôi biết rằng đào tạo một mạng khi ReLU được sử dụng sẽ nhanh hơn, và nó được truyền cảm hứng sinh học nhiều hơn, những lợi thế khác là gì? (Đó là, bất kỳ nhược điểm của việc sử dụng sigmoid)?

$h = \max(0, a)$$a = Wx + b$

Một lợi ích chính là giảm khả năng biến mất của gradient. Điều này phát sinh khi . Trong chế độ này, gradient có giá trị không đổi. Ngược lại, độ dốc của sigmoids ngày càng nhỏ khi giá trị tuyệt đối của x tăng. Độ dốc không đổi của ReLUs dẫn đến việc học nhanh hơn.$a > 0$

Lợi ích khác của ReLUs là sự thưa thớt. Độ thưa thớt phát sinh khi . Càng nhiều đơn vị như vậy tồn tại trong một lớp, đại diện kết quả càng thưa thớt. Mặt khác, Sigmoids luôn có khả năng tạo ra một số giá trị khác không dẫn đến các biểu diễn dày đặc. Các đại diện thưa thớt dường như có lợi hơn so với các đại diện dày đặc.$a \le 0$

Lợi thế:

• Sigmoid: không kích hoạt
• Relu: không biến mất gradient
• Relu: Tính toán hiệu quả hơn để tính toán hơn các hàm như Sigmoid vì Relu chỉ cần chọn max (0, ) và không thực hiện các phép toán hàm mũ đắt tiền như trong Sigmoids$x$
• Relu: Trong thực tế, các mạng có Relu có xu hướng hiển thị hiệu suất hội tụ tốt hơn so với sigmoid. ( Krizhevsky và cộng sự )

Bất lợi:

• Sigmoid: có xu hướng biến mất độ dốc (vì có một cơ chế giảm độ dốc khi tăng " ", trong đó " " là đầu vào của hàm sigmoid. Gradient của Sigmoid: . Khi " " phát triển đến vô hạn lớn, ).$a$$a$$S'(a)= S(a)(1-S(a))$$a$$S'(a)= S(a)(1-S(a)) = 1\times(1-1)=0$

• Relu: có xu hướng làm nổ tung kích hoạt (không có cơ chế hạn chế đầu ra của nơ ron, vì chính " " là đầu ra)$a$

• Relu: Vấn đề Dying Relu - nếu có quá nhiều kích hoạt xuống dưới 0 thì hầu hết các đơn vị (nơ ron) trong mạng với Relu sẽ chỉ đơn giản là tạo ra số 0, nói cách khác, chết và do đó cấm học. bằng cách sử dụng Leaky-Relu thay thế.)

Chỉ cần bổ sung cho các câu trả lời khác:

Sinh viên biến mất

Các câu trả lời khác là đúng để chỉ ra rằng đầu vào càng lớn (về giá trị tuyệt đối) thì độ dốc của hàm sigmoid càng nhỏ. Nhưng, có lẽ một hiệu ứng thậm chí còn quan trọng hơn là đạo hàm của hàm sigmoid LUÔN nhỏ hơn một . Trong thực tế, nó nhiều nhất là 0,25!

Mặt trái của điều này là nếu bạn có nhiều lớp, bạn sẽ nhân các độ dốc này và sản phẩm của nhiều giá trị nhỏ hơn 1 sẽ chuyển sang 0 rất nhanh.

Vì trạng thái của nghệ thuật Deep Learning đã chỉ ra rằng nhiều lớp giúp ích rất nhiều, nên nhược điểm này của chức năng Sigmoid là một kẻ giết người trong trò chơi. Bạn không thể thực hiện Deep Learning với Sigmoid.

$0$$a < 0$$1$$a > 0$

Một lợi thế cho ReLU ngoài việc tránh sự cố biến mất độ dốc là nó có thời gian chạy thấp hơn nhiều. max (0, a) chạy nhanh hơn nhiều so với bất kỳ hàm sigmoid nào (hàm logistic chẳng hạn = 1 / (1 + e ^ (- a)) sử dụng số mũ chậm tính toán khi được thực hiện thường xuyên). Điều này đúng cho cả lan truyền tiến và lùi như độ dốc của ReLU (nếu a <0, = 0 khác = 1) cũng rất dễ tính toán so với sigmoid (đối với đường cong logistic = e ^ a / ((1 + e ^ a) ^ 2)).

Mặc dù ReLU có nhược điểm là làm chết các tế bào làm hạn chế khả năng của mạng. Để khắc phục điều này, chỉ cần sử dụng một biến thể của ReLU như ReLU bị rò rỉ, ELU, v.v. nếu bạn nhận thấy vấn đề được mô tả ở trên.

Một phần câu trả lời bổ sung để hoàn thành trong cuộc tranh luận về hiệu suất thưa thớt và dày đặc .

Đừng nghĩ về NN nữa, hãy nghĩ về đại số tuyến tính và các phép toán ma trận, bởi vì các lan truyền tiến và lùi là một chuỗi các phép toán ma trận.

Bây giờ hãy nhớ rằng tồn tại rất nhiều toán tử được tối ưu hóa để áp dụng cho ma trận thưa thớt và vì vậy tối ưu hóa các hoạt động đó trong mạng của chúng tôi có thể cải thiện đáng kể hiệu năng của thuật toán.

Tôi hy vọng điều đó có thể giúp một số bạn ...

Lợi ích chính là đạo hàm của ReLu là 0 hoặc 1, do đó, nhân với nó sẽ không gây ra các trọng số nằm xa kết quả cuối cùng của hàm mất mát khi gặp vấn đề về độ dốc biến mất: