Đạo hàm của hàm kích hoạt ReLU là gì?

Đạo hàm của hàm kích hoạt ReLU được định nghĩa là:

R e L Bạn (x) = = m một x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

Còn trường hợp đặc biệt khi có sự gián đoạn trong hàm tại thì sao? $x=0$

self-study neural-networks

— Tom Hale
nguồn

Đạo hàm là:

f (x) = = {\begin{cases} 0 & nếu x < 0 \\ 1 & nếu x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

$x=0$

— Jim
nguồn

0

$0$

1

$1$

x = 0

$x=0$

Quy ước là drdx = 1 (x> 0)

— neuroguy123

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$

Nhân tiện @TomHale, hãy xem câu trả lời của Nouroz Rahman tại quora.com/, ví dụ : "[...] Theo quan điểm của tôi, trong các hàm thư viện tích hợp (ví dụ tf.nn.relu():) đạo hàm tại x = 0 được lấy bằng 0 để đảm bảo một trình duyệt ma trận ... "

— Jim