Không có nhiều bộ lọc trong một lớp chập có học cùng một tham số trong quá trình đào tạo không?


11

Dựa trên những gì tôi đã học được, chúng tôi sử dụng nhiều bộ lọc trong Lớp Conv của CNN để tìm hiểu các trình phát hiện tính năng khác nhau. Nhưng vì các bộ lọc này được áp dụng tương tự (nghĩa là trượt và nhân với các vùng của đầu vào), liệu chúng có học được các tham số tương tự trong quá trình đào tạo không? Do đó việc sử dụng nhiều bộ lọc sẽ là dư thừa?

Câu trả lời:


6

Tôi đã có sự nhầm lẫn tương tự trong việc hiểu thực tế này. Sự nhầm lẫn xuất hiện cho người mới bắt đầu bởi vì cuốn sách này không đề cập đến việc các bộ lọc là khác nhau.

vì các bộ lọc này được áp dụng tương tự

Các bộ lọc được áp dụng tương tự nhưng giá trị của ô trong ma trận khác với các bộ lọc khác. Vì vậy, họ trích xuất các tính năng khác nhau từ hình ảnh.

họ sẽ không học các thông số tương tự trong quá trình đào tạo

Không, họ không học cùng một tham số vì các bộ lọc khác nhau. Vì vậy, việc sử dụng nhiều bộ lọc là không dư thừa.


Cảm ơn vì đã trả lời. Chính xác thì điều gì làm cho chúng khác biệt? Làm thế nào để chúng tôi đảm bảo rằng họ học các thông số khác nhau trong quá trình đào tạo? Có phải đó là giá trị ban đầu của họ?
cjbayron

1
Giá trị khác nhau của mỗi tế bào làm cho chúng khác nhau. Giống như một số sẽ phát hiện đường xiên, một số sẽ phát hiện đường cong 45 độ, v.v ... Vì vậy, tất cả chúng đều khác nhau.
sắt

1
Có tôi hiểu rằng các giá trị khác nhau làm cho các bộ lọc phát hiện các tính năng khác nhau. Nhưng làm thế nào để các bộ lọc học khác nhau trong quá trình đào tạo?
cjbayron

3
Nếu tất cả các bộ lọc bắt đầu giống nhau thì chúng sẽ giữ nguyên như vậy. Việc khởi tạo ngẫu nhiên có nghĩa là họ bắt đầu khác nhau và từ đó họ học được những điều khác nhau. Tra cứu phá vỡ đối xứng trong các mạng thần kinh để biết thêm thông tin.
Aaron

4

Tôi đã tìm thấy câu trả lời cho câu hỏi này: https://www.quora.com/Why-does-each-filter-learn-different-features-in-a-convolutional-neural-network

Nó nói ở đây: thuật toán "... (tối ưu hóa) thấy rằng tổn thất không giảm nếu hai bộ lọc có trọng số và độ lệch tương tự nhau, do đó cuối cùng nó sẽ thay đổi một trong các bộ lọc (trọng số và độ lệch) để giảm tổn thất do đó học một tính năng mới. "

Cảm ơn bạn đã trả lời. Cảm kích điều đó :)

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.