Câu hỏi được gắn thẻ «activation-function»

Các chức năng kích hoạt được sử dụng để giới thiệu phi tuyến tính trong đầu ra tuyến tính của loại w * x + btrong mạng thần kinh. Mà tôi có thể hiểu trực giác cho các chức năng kích hoạt như sigmoid. Tôi hiểu những lợi thế của …

19 machine-learning  neural-network  deep-learning  activation-function 

Ở đây , câu trả lời đề cập đến việc biến mất và làm nổ các gradient có sigmoidchức năng kích hoạt giống như nhưng tôi đoán, Relucó một nhược điểm và đó là giá trị mong đợi của nó. không có giới hạn cho đầu ra của Reluvà vì …

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

Tôi đã xem qua giấy BERT sử dụng GELU (Đơn vị tuyến tính lỗi Gaussian) trong đó nêu phương trình là mà tương ứng với 0,5x (1 + tanh [\ sqrt {2 / π} (x + 0,044715x ^ 3)]) Bạn có thể đơn giản hóa phương trình và giải thích …

17 activation-function  bert  mathematics 

Tôi đã nghiên cứu các loại chức năng kích hoạt cho các mạng thần kinh. Bản thân các chức năng khá đơn giản, nhưng sự khác biệt của ứng dụng không hoàn toàn rõ ràng. Thật hợp lý khi người ta phân biệt giữa các hàm loại logic và tuyến …

15 neural-network  activation-function 

Làm thế nào để bạn sử dụng LeakyRelu như một chức năng kích hoạt trong chuỗi DNN trong máy ảnh? Nếu tôi muốn viết một cái gì đó tương tự như: model = Sequential() model.add(Dense(90, activation='LeakyRelu')) Giải pháp là gì? Đặt LeakyRelu tương tự như Relu? Câu hỏi thứ hai …

14 deep-learning  keras  activation-function 

Theo hiểu biết của tôi, vấn đề độ dốc biến mất xảy ra khi đào tạo mạng nơ ron khi độ dốc của mỗi chức năng kích hoạt nhỏ hơn 1 sao cho khi hiệu chỉnh được truyền ngược qua nhiều lớp, sản phẩm của các gradient này trở nên …

7 machine-learning  neural-network  deep-learning  activation-function