Thuật ngữ bão hòa phi tuyến có nghĩa là gì?

Tôi đã đọc bài Phân loại ImageNet với Mạng nơ-ron kết hợp sâu và trong phần 3 họ đã giải thích kiến ​​trúc của Mạng nơ-ron kết hợp của họ, họ giải thích cách họ thích sử dụng:

phi tuyến không bão hòa$f(x) = max(0, x).$

bởi vì nó nhanh hơn để đào tạo Trong bài báo đó, họ dường như đề cập đến các phi tuyến bão hòa như các hàm truyền thống hơn được sử dụng trong CNN, sigmoid và các hàm tiếp tuyến hyperbolic (tức là và khi bão hòa).$f(x) = tanh(x)$$f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1}$

Tại sao họ gọi các chức năng này là "bão hòa" hoặc "không bão hòa"? Theo nghĩa nào thì các chức năng này "bão hòa" hoặc "không bão hòa"? Những thuật ngữ đó có ý nghĩa gì trong bối cảnh của các mạng nơ ron tích chập? Chúng có được sử dụng trong các lĩnh vực khác của máy học (và thống kê) không?

Trực giác

Một chức năng kích hoạt bão hòa siết chặt đầu vào.

Định nghĩa

• $f$ không bão hòa iff$(|\lim_{z\to-\infty} f(z)| = +\infty) \vee (|\lim_{z\to+\infty} f(z)| = +\infty)$
• $f$ đang bão hòa iff không phải là không bão hòa.$f$

Các định nghĩa này không cụ thể đối với các mạng thần kinh tích chập.

Ví dụ

Hàm kích hoạt Đơn vị tuyến tính chỉnh sửa (ReLU), được định nghĩa là không bão hòa vì :$f(x)=max(0,x)$$\lim_{z\to+\infty} f(z) = +\infty$

Hàm kích hoạt sigmoid, được định nghĩa là đang bão hòa, bởi vì nó đè bẹp các số thực nằm trong khoảng :$f(x) = \frac{1}{1 + e^{-x}}$$[0,1]$

Hàm kích hoạt tanh (hyperbolic tangent) đang bão hòa khi nó nén các số thực trong phạm vi giữa :$[-1,1]$

(số liệu từ CS231n , Giấy phép MIT)

Các chức năng kích hoạt phổ biến nhất là LOG và TanH. Các hàm này có phạm vi nhỏ gọn, nghĩa là chúng nén phản ứng thần kinh thành một tập hợp con giới hạn của các số thực. LOG nén các đầu vào thành đầu ra trong khoảng từ 0 đến 1, TAN H giữa -1 và 1. Các chức năng này hiển thị hành vi giới hạn ở các ranh giới.

Ở viền, độ dốc của đầu ra đối với đầu vào ∂yj / xj là rất nhỏ. Vì vậy, Gradient là nhỏ do đó các bước nhỏ để hội tụ do đó thời gian hội tụ lâu hơn.