Làm cách nào để tính toán thuật ngữ delta của Lớp Convolutional, với các điều khoản và trọng số delta của Lớp Convolutional trước đó?

Tôi đang cố gắng đào tạo một mạng lưới thần kinh nhân tạo với hai lớp chập (c1, c2) và hai lớp ẩn (c1, c2). Tôi đang sử dụng phương pháp backpropagation tiêu chuẩn. Trong đường chuyền ngược tôi tính toán thuật ngữ lỗi của một lớp (delta) dựa trên lỗi của lớp trước, trọng số của lớp trước và độ dốc của kích hoạt đối với chức năng kích hoạt của lớp hiện tại. Cụ thể hơn là vùng đồng bằng của lớp l trông như thế này:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

Tôi có thể tính toán độ dốc của c2, kết nối thành một lớp thông thường. Tôi chỉ nhân trọng số của h1 với delta. Sau đó, tôi định hình lại ma trận đó thành dạng đầu ra của c2, nhân nó với độ dốc của hàm kích hoạt và được thực hiện.

Bây giờ tôi có một thuật ngữ delta của c2 - Đó là một ma trận 4D có kích thước (FeatureMapSize, FeatureMapSize, filterNum, patternNum). Hơn nữa, tôi có trọng số của c2, là một ma trận 3D có kích thước (bộ lọc kích thước, bộ lọc kích thước, bộ lọcNum).

Với hai thuật ngữ này và độ dốc kích hoạt của c1 tôi muốn tính delta của c1.

Mẩu chuyện dài:

Với thuật ngữ delta của một lớp chập trước đó và các trọng số của lớp đó, làm thế nào để tôi tính toán thuật ngữ delta của một lớp chập?

— cdwoelk
nguồn

Trước tiên, tôi nhận ra lỗi cho lớp chập bên dưới để đơn giản cho mảng một chiều (đầu vào) có thể dễ dàng được chuyển sang đa chiều sau đó:

Chúng tôi giả sử ở đây rằng có độ dài là các đầu vào của đối thứ . lớp, là kích thước hạt nhân của trọng số biểu thị mỗi trọng lượng theo và đầu ra là . Do đó chúng ta có thể viết (lưu ý tổng từ 0): trong đó và chức năng kích hoạt (ví dụ sigmoidal). Với điều này, bây giờ chúng ta có thể xem xét một số hàm lỗi và hàm lỗi tại lớp chập (lớp trước của bạn) được cung cấp bởi $y^{l-1}$ $N$ $l-1$ $m$ $w$ $w_i$ $x^l$

x_{Tôi}^{tôi} = = Σ_{một = = 0}^{m - 1} w_{một} y_{một + Tôi}^{tôi - 1}

$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$

y_{i}^{l} = f (x_{i}^{l})

$y_i^l = f(x_i^l)$

f

$f$

E

$E$

\partial E / \partial y_{i}^{l}

$\partial E / \partial y_i^l$ . Bây giờ chúng tôi muốn tìm ra sự phụ thuộc của lỗi trong một trọng số trong (các) lớp trước: trong đó chúng ta có tổng trên tất cả các biểu thức trong đó xảy ra, đó là . Cũng lưu ý rằng chúng tôi biết thuật ngữ cuối cùng phát sinh từ thực tế là mà bạn có thể thấy từ phương trình đầu tiên. Để tính toán độ dốc, chúng ta cần biết thuật ngữ đầu tiên, có thể được tính bằng:

\frac{\partial E}{\partial w_{một}} = = Σ_{một = = 0}^{N - m} \frac{\partial E}{\partial x_{Tôi}^{tôi}} \frac{\partial x_{Tôi}^{tôi}}{\partial w_{một}} = = Σ_{một = = 0}^{N - m} \frac{\partial E}{\partial w_{một}} y_{Tôi + một}^{tôi - 1}

$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$

w_{a}

$w_a$

N - m

$N-m$

\frac{\partial x_{i}^{l}}{\partial w_{a}} = y_{i + a}^{l - 1}

$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$

\frac{\partial E}{\partial x_{Tôi}^{tôi}} = = \frac{\partial E}{\partial y_{Tôi}^{tôi}} \frac{\partial y_{Tôi}^{tôi}}{\partial x_{Tôi}^{tôi}} = = \frac{\partial E}{\partial y_{Tôi}^{tôi}} \frac{\partial}{\partial x_{Tôi}^{tôi}} f (x_{Tôi}^{tôi})

$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$ trong đó một lần nữa thuật ngữ đầu tiên là lỗi trong lớp trước và chức năng kích hoạt phi tuyến.

f

$f$

Có tất cả các thực thể cần thiết, giờ đây chúng ta có thể tính toán lỗi và truyền lại hiệu quả cho lớp quý giá: Lưu ý rằng bước cuối cùng có thể được hiểu dễ dàng khi viết xuống -s wrt -s. Việc đề cập đến một maxtrix trọng lượng chuyển đổi ( ).

δ_{một}^{tôi - 1} = = \frac{\partial E}{\partial y_{Tôi}^{tôi - 1}} = = Σ_{một = = 0}^{m - 1} \frac{\partial E}{\partial x_{Tôi - một}^{tôi}} \frac{\partial x_{Tôi - một}^{tôi}}{\partial y_{Tôi}^{tôi - 1}} = = Σ_{một = = 0}^{m - 1} \frac{\partial E}{\partial x_{Tôi - một}^{tôi}} w_{một}^{f tôi Tôi p p e d}

$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$

x_{i}^{l}

$x_i^l$

y_{i}^{l - 1}

$y_i^{l-1}$

f l i p p e d

$flipped$

T

$T$

Do đó, bạn chỉ có thể tính toán lỗi trong lớp tiếp theo bằng (bây giờ trong ký hiệu vectơ):

δ^{tôi} = = (w^{tôi})^{T} δ^{tôi + 1} f^{'} (x^{tôi})

$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$

mà trở thành một lớp xoắn và lấy mẫu con: nơi hoạt động tuyên truyền lỗi thông qua lớp gộp tối đa.

δ^{tôi} = = bạn p S một m p tôi e ((w^{tôi})^{T} δ^{tôi + 1}) f^{'} (x^{tôi})

$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$

u p s a m p l e

$upsample$

Xin vui lòng thêm hoặc sửa chữa tôi!

Để tham khảo xem:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

và để triển khai C ++ (không cần cài đặt): https://github.com/nyanp/tiny-cnn#supported-networks

— Sư Tử.
nguồn