Chính xác thì DropOut hoạt động như thế nào với các lớp chập?

Dropout ( giấy , giải thích ) đặt đầu ra của một số nơ-ron bằng không. Vì vậy, đối với MLP, bạn có thể có kiến trúc sau cho bộ dữ liệu hoa Iris :

4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax)

Nó sẽ hoạt động như thế này:

s o f t m a x (W_{3} \cdot \tanh (W_{2} \cdot mask (D, \tanh (W_{1} \cdot i n p u t_v e c t o r)))

$softmax(W_3 \cdot \tanh(W_2 \cdot \text{mask}(D, \tanh(W_1 \cdot input\_vector)))$

với , , , , (bỏ qua các thành kiến vì đơn giản). $input\_vector \in \mathbb{R}^{4 \times 1}$ $W_1 \in \mathbb{R}^{50 \times 4}$ $D \in \{0, 1\}^{50 \times 1}$ $W_2 \in \mathbb{R}^{20 \times 50}$ $W_3 \in \mathbb{R}^{20 \times 3}$

Với và $D = (d)_{ij}$

d_{i j} \sim B (1, p = 0.5)

$d_{ij} \sim B(1, p=0.5)$

trong đó thao tác nhân điểm khôn ngoan với (xem sản phẩm Hadamard ). $\text{mask}(D, M)$ $D$ $M$

Do đó, chúng tôi chỉ lấy mẫu ma trận mỗi lần và do đó, việc bỏ học trở thành phép nhân của một nút có 0. $D$

Nhưng đối với CNN, tôi không rõ chính xác những gì đã bị loại bỏ. Tôi có thể thấy ba khả năng:

Bỏ bản đồ tính năng hoàn chỉnh (do đó là kernel)
Bỏ một phần tử của kernel (thay thế một phần tử của kernel bằng 0)
Bỏ một yếu tố của bản đồ đặc trưng

Vui lòng thêm một tài liệu tham khảo / trích dẫn để trả lời của bạn.

Suy nghĩ của tôi

Tôi nghĩ Lasagne không (3) (xem mã ). Đây có thể là đơn giản nhất để thực hiện. Tuy nhiên, gần hơn với ý tưởng ban đầu có thể là (1).

Có vẻ tương tự như Caffe (xem mã ). Đối với dòng chảy, người dùng phải quyết định ( mã - tôi không chắc điều gì sẽ xảy ra khi noise_shape=Noneđược thông qua).

Nó nên như thế nào

(2) và (3) không có ý nghĩa nhiều vì nó sẽ khiến mạng thêm bất biến vào các vị trí không gian, điều có lẽ không mong muốn. Do đó (1) là biến thể duy nhất có ý nghĩa. Nhưng tôi không chắc điều gì sẽ xảy ra nếu bạn sử dụng cài đặt mặc định.

dropout

— Martin Thoma
nguồn

Tôi cũng đã hỏi câu hỏi trong nhóm người dùng Lasagne .

— Martin Thoma

Tôi bạn lưu ý rằng (2) và (3) có thể không phải là một ý tưởng tốt bởi vì nó có thể buộc mạng truyền bá thông tin theo không gian.

— Martin Thoma

Như bạn đã đề cập, ma trận mặt nạ được lấy mẫu và nhân với các kích hoạt trong bản đồ đặc trưng ở lớp để tạo ra các kích hoạt được sửa đổi, sau đó được tích hợp với bộ lọc ở lớp tiếp theo . (3) $l$ $W^{(l+1)}$

Để biết thêm chi tiết, tôi nghĩ phần 3 trong bài viết này có thể giúp bạn hiểu rõ: Bỏ học tối đa & bỏ học . Cụ thể 3.2.

Khi bạn kiểm tra, bạn sử dụng tất cả các nút của mạng nhưng với trọng số của bộ lọc được chia tỷ lệ theo xác suất giữ lại, như được giải thích trong bài báo.

Xin vui lòng tinh chỉnh hoặc sửa câu trả lời của tôi.

Hy vọng điều này sẽ giúp ít nhất một chút.

— Leonard Aukea
nguồn