Sự khác biệt giữa LeakyReLU và PReLU là gì?

Tôi nghĩ cả hai, PReLU và Leaky ReLU là

Keras, tuy nhiên, có cả hai chức năng trong các tài liệu .

Rò rỉ ReLU

Nguồn của LeakyReLU :

return K.relu(inputs, alpha=self.alpha)

Do đó (xem mã relu )

PReLU

Nguồn của PReLU :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

Do đó

Câu hỏi

Tôi đã nhận được một cái gì đó sai? Không phải $f_1$ và $f_2$ tương đương với $f$ (giả sử $\alpha \in (0, 1)$ ?)

Trực tiếp từ wikipedia :

• Rò rỉ ReLU cho phép một độ dốc nhỏ, khác không khi thiết bị không hoạt động.

• Các tham số ReLU đưa ý tưởng này đi xa hơn bằng cách biến hệ số rò rỉ thành một tham số được học cùng với các tham số mạng thần kinh khác.