Làm thế nào để lan truyền ngược hoạt động trong một mạng lưới thần kinh siamese?

Tôi đã nghiên cứu kiến ​​trúc của mạng lưới thần kinh siamese được giới thiệu bởi Yann LeCun và các đồng nghiệp của ông vào năm 1994 để nhận biết chữ ký ( xác minh chữ ký sử dụng mạng thần kinh trì hoãn thời gian siamese .pdf , NIPS 1994)

Tôi đã hiểu ý tưởng chung của kiến ​​trúc này, nhưng tôi thực sự không thể hiểu làm thế nào backpropagation hoạt động trong trường hợp này. Tôi không thể hiểu các giá trị đích của mạng nơ-ron là gì, điều đó sẽ cho phép truyền ngược để đặt đúng trọng lượng của mỗi nơ-ron.

Trong kiến ​​trúc này, thuật toán tính toán độ tương tự cosin giữa các biểu diễn cuối cùng của hai mạng thần kinh Giấy viết: "Đầu ra mong muốn là một góc nhỏ giữa các đầu ra của hai mạng con (F1 và f2) khi xuất hiện chữ ký chính hãng và một góc lớn nếu một trong những chữ ký là giả mạo ".

Tôi thực sự không thể hiểu làm thế nào họ có thể sử dụng hàm nhị phân (độ tương tự cosine giữa hai vectơ) làm mục tiêu để chạy backpropagation.

Làm thế nào là backpropagation được tính toán trong các mạng lưới thần kinh siamese?

Cả hai mạng chia sẻ các kiến ​​trúc tương tự nhau, nhưng chúng bị hạn chế để có cùng trọng số như ấn phẩm mô tả trong phần 4 [1].

Mục tiêu của họ là tìm hiểu các tính năng giảm thiểu độ tương tự cosin giữa, vectơ đầu ra của chúng khi chữ ký là chính hãng và tối đa hóa nó khi chúng bị giả mạo (đây cũng là mục tiêu backprop, nhưng chức năng mất thực tế không được trình bày).

Độ tương tự cosin của hai vectơ , là thước đo độ tương tự cung cấp cho bạn cosin của góc giữa chúng (do đó, đầu ra của nó không phải là nhị phân). Nếu mối quan tâm của bạn là làm thế nào bạn có thể sao lưu vào một hàm xuất ra đúng hay sai, hãy nghĩ đến trường hợp phân loại nhị phân.$\cos(A,B) = {A \cdot B \over \|A\| \|B\|}$$A, B$

Bạn không nên thay đổi lớp đầu ra, nó bao gồm các nơ-ron được đào tạo với các giá trị tuyến tính và mức độ trừu tượng cao hơn của đầu vào của bạn. Toàn bộ mạng lưới cần được đào tạo cùng nhau. Cả hai đầu ra và đều được truyền qua hàm tạo ra độ tương tự cosin của chúng ( nếu chúng giống nhau và nếu không). Cho rằng, và chúng ta có hai bộ dữ liệu đầu vào , một ví dụ về chức năng mất đơn giản nhất có thể bạn có thể phải luyện tập có thể là:$O_1$$O_2$$cos(O_1,O_2)$$1$$0$$X_{Forged}, X_{Genuine}$

Sau khi bạn đã đào tạo mạng của mình, bạn chỉ cần nhập hai chữ ký là bạn nhận được hai đầu ra chuyển chúng sang hàm và kiểm tra độ tương tự của chúng.$cos(O_1,O_2)$

Cuối cùng, để giữ cho trọng lượng mạng giống hệt nhau, có một số cách để làm điều đó (và chúng cũng được sử dụng trong Mạng thần kinh tái phát); một cách tiếp cận phổ biến là lấy trung bình độ dốc của hai mạng trước khi thực hiện bước cập nhật Gradient Descent.

[1] http://epage.nips.cc/apers/769-signature-verification-USE-a-siamese-time-delay-neural-network.pdf