Đào tạo một mạng lưới thần kinh tích chập


11

Tôi hiện đang làm việc trên một phần mềm nhận dạng khuôn mặt sử dụng mạng thần kinh tích chập để nhận diện khuôn mặt. Dựa trên các bài đọc của tôi, tôi đã tập hợp rằng một mạng lưới thần kinh tích chập đã chia sẻ các trọng số, để tiết kiệm thời gian trong quá trình đào tạo. Nhưng, làm thế nào để điều chỉnh backpropagation để nó có thể được sử dụng trong mạng nơ ron tích chập. Trong backpropagation, người ta sử dụng một công thức tương tự như thế này để huấn luyện các trọng số.

New Weight  = Old Weight +  LEARNING_RATE * 1 * Output Of InputNeuron * Delta

Tuy nhiên, vì trong các mạng nơ ron tích chập, các trọng số được chia sẻ, mỗi trọng lượng được sử dụng với nhiều nơ-ron, vậy làm thế nào để tôi quyết định Output of InputNeuronsử dụng cái nào?

Nói cách khác, vì các trọng số được chia sẻ, làm thế nào để tôi quyết định thay đổi trọng số bao nhiêu?

Câu trả lời:


13

Trước tiên, bạn cần tính toán tất cả các cập nhật của mình như thể các wieghts không được chia sẻ, nhưng chỉ lưu trữ chúng, thực sự chưa thực hiện bất kỳ cập nhật nào.

wkIk={(i,j):wi,j=wk}Δwi,j=ηJwi,jηJwi,j

wi,j=wi,j+Δwi,j.
Δwk=(i,j)IkΔwi,j
wk=wk+Δwk.

1
Bạn có bất kỳ tài liệu tham khảo cho điều này? Để đọc thêm
Jon
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.