Câu hỏi được gắn thẻ «relu»

Có một số chức năng kích hoạt, chẳng hạn như ReLU, sigmoid hoặc . Điều gì xảy ra khi tôi trộn các chức năng kích hoạt?tanhtanh\tanh Gần đây tôi phát hiện ra rằng Google đã phát triển chức năng kích hoạt Swish (x * sigmoid). Bằng cách thay đổi chức …

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Tôi nghĩ rằng lợi thế của việc sử dụng Leaky ReLU thay vì ReLU là theo cách này chúng ta không thể có độ dốc biến mất. ReLU tham số có cùng một lợi thế với sự khác biệt duy nhất là độ dốc của đầu ra cho đầu vào …

10 neural-networks  activation-function  relu