Hình ảnh hiển thị một lớp điển hình ở đâu đó trong mạng chuyển tiếp nguồn cấp dữ liệu:

$a_i^{(k)}$ là giá trị kích hoạt của nơ ron trong lớp .$i^{th}$$k^{th}$

$W_{ij}^{(k)}$ là trọng lượng kết nối neuron trong lớp đến neuron trong lớp.$i^{th}$$k^{th}$$j^{th}$$(k+1)^{th}$

$z_j^{(k+1)}$ là giá trị hàm kích hoạt trước cho nơ ron trong lớp . Đôi khi điều này được gọi là "logit", khi được sử dụng với các hàm logistic.$j^{th}$$(k+1)^{th}$

Các phương trình chuyển tiếp thức ăn như sau:

$z_j^{(k+1)} = \sum_i W_{ij}^{(k)}a_i^{(k)}$

$a_j^{(k+1)} = f(z_j^{(k+1)})$

Để đơn giản, bias được bao gồm dưới dạng kích hoạt giả 1 và được sử dụng trong các lần lặp trên .$i$

Tôi có thể rút ra các phương trình lan truyền ngược trên mạng thần kinh chuyển tiếp nguồn cấp dữ liệu, sử dụng quy tắc chuỗi và xác định các giá trị vô hướng riêng lẻ trong mạng (thực tế tôi thường làm điều này như một bài tập trên giấy chỉ để thực hành):

Cho dưới dạng độ dốc của hàm lỗi đối với đầu ra nơ ron.$\nabla a_j^{(k+1)} = \frac{\partial E}{\partial a_j^{(k+1)}}$

1.$\nabla z_j^{(k+1)} = \frac{\partial E}{\partial z_j^{(k+1)}} = \frac{\partial E}{\partial a_j^{(k+1)}} \frac{\partial a_j^{(k+1)}}{\partial z_j^{(k+1)}} = \nabla a_j^{(k+1)} f'(z_j^{(k+1)})$

2.$\nabla a_i^{(k)} = \frac{\partial E}{\partial a_i^{(k)}} = \sum_j \frac{\partial E}{\partial z_j^{(k+1)}} \frac{\partial z_j^{(k+1)}}{\partial a_i^{(k)}} = \sum_j \nabla z_j^{(k+1)} W_{ij}^{(k)}$

3.$\nabla W_{ij}^{(k)} = \frac{\partial E}{\partial W_{ij}^{(k)}} = \frac{\partial E}{\partial z_j^{(k+1)}} \frac{\partial z_j^{(k+1)}}{\partial W_{ij}^{(k)}} = \nabla z_j^{(k+1)} a_{i}^{(k)}$

Càng xa càng tốt. Tuy nhiên, tốt hơn là nhớ lại các phương trình này bằng cách sử dụng ma trận và vectơ để biểu diễn các phần tử. Tôi có thể làm điều đó, nhưng tôi không thể tìm ra biểu diễn "nguyên gốc" của logic tương đương ở giữa các đạo hàm. Tôi có thể tìm ra các hình thức kết thúc nên bằng cách tham khảo lại phiên bản vô hướng và kiểm tra xem các phép nhân có kích thước chính xác hay không, nhưng tôi không biết tại sao tôi nên đặt các phương trình trong các hình thức đó.

Có thực sự là một cách để thể hiện đạo hàm dựa trên độ căng của lan truyền ngược, chỉ sử dụng các phép toán vectơ và ma trận, hay đó là vấn đề "khớp" nó với đạo hàm trên?

Sử dụng các vectơ cột , , và ma trận trọng số cộng với vectơ thiên vị , sau đó các hoạt động chuyển tiếp nguồn cấp dữ liệu là:$\mathbf{a}^{(k)}$$\mathbf{z}^{(k+1)}$$\mathbf{a}^{(k+1)}$$\mathbf{W}^{(k)}$$\mathbf{b}^{(k)}$

$\mathbf{z}^{(k+1)} = \mathbf{W}^{(k)}\mathbf{a}^{(k)} + \mathbf{b}^{(k)}$

$\mathbf{a}^{(k+1)} = f(\mathbf{z}^{(k+1)})$

Sau đó, nỗ lực của tôi tại phái sinh trông như thế này:

1.$\nabla \mathbf{z}^{(k+1)} = \frac{\partial E}{\partial \mathbf{z}^{(k+1)}} = ??? = \nabla \mathbf{a}^{(k+1)} \odot f'(\mathbf{z}^{(k+1)})$

2.$\nabla \mathbf{a}^{(k)} = \frac{\partial E}{\partial \mathbf{a}^{(k)}} = ??? = {\mathbf{W}^{(k)}}^{T} \nabla \mathbf{z}^{(k+1)}$

3.$\nabla \mathbf{W}^{(k)} = \frac{\partial E}{\partial \mathbf{W}^{(k)}} = ??? = \nabla\mathbf{z}^{(k+1)} {\mathbf{a}^{(k)}}^T$

Trong đó đại diện cho phép nhân phần tử. Tôi không bận tâm đến việc hiển thị phương trình cho sự thiên vị.$\odot$

Tôi đã đặt ở đâu ??? Tôi không chắc chắn về cách chính xác để đi từ các hoạt động chuyển tiếp thức ăn và kiến ​​thức về phương trình vi phân tuyến tính để thiết lập các hình thức chính xác của phương trình? Tôi chỉ có thể viết ra một số thuật ngữ phái sinh một phần, nhưng không biết lý do tại sao một số nên sử dụng phép nhân phần tử, phép nhân ma trận khác và tại sao thứ tự nhân phải được hiển thị, ngoài việc rõ ràng cho kết quả chính xác cuối cùng .

Tôi thậm chí không chắc chắn nếu có một đạo hàm thuần túy, hay liệu tất cả chỉ là một "véc tơ" của bộ phương trình đầu tiên. Nhưng đại số của tôi không tốt lắm, và tôi rất muốn tìm hiểu một trong hai cách. Tôi cảm thấy nó có thể giúp tôi một số công việc thấu hiểu tốt trong ví dụ: TensorFlow nếu tôi hiểu rõ hơn về các hoạt động này bằng cách suy nghĩ nhiều hơn với đại số tenor.

---

Xin lỗi về ký hiệu ad-hoc / sai. Bây giờ tôi hiểu rằng được viết đúng hơn nhờ câu trả lời của Ehsan. Những gì tôi thực sự muốn có một biến tham chiếu ngắn để thay thế vào các phương trình, trái ngược với các đạo hàm riêng dài dòng.$\nabla a_j^{(k+1)}$$\nabla_{a_j^{(k+1)}}E$

Các vấn đề ký hiệu! Vấn đề bắt đầu từ:

Cho$\nabla a_j^{(k+1)} = \frac{\partial E}{\partial a_j^{(k+1)}}$

Tôi không thích ký hiệu của bạn! Thực tế nó sai, trong ký hiệu toán học tiêu chuẩn. Ký hiệu đúng là

$$\nabla_{a_j^{(k+1)}} E = \frac{\partial E}{\partial a_j^{(k+1)}}$$

Sau đó, độ dốc của lỗi một vectơ được định nghĩa là$E$${\mathbf{a}^{(k)}}$

$$\nabla_{\mathbf{a}^{(k)}} E = \left( \frac{\partial E}{\partial a_1^{(k)}} , \cdots, \frac{\partial E}{\partial a_n^{(k)}}\right)^T \;\;\;\; (\star)$$

( lưu ý bên : Chúng tôi hoán vị vì quy ước chúng tôi biểu diễn các vectơ dưới dạng vectơ cột, nếu bạn muốn biểu diễn dưới dạng vectơ hàng thì các phương trình bạn muốn chứng minh sẽ thay đổi chuyển vị!)

do đó với quy tắc chuỗi,

$$\frac{\partial E}{\partial a_i^{(k)}}= \sum_j \frac{\partial E}{\partial z_j^{(k+1)}} \frac{\partial z_j^{(k+1)}}{\partial a_i^{(k)}}=\sum_j \frac{\partial E}{\partial z_j^{(k+1)}}W_{ij}^{(k)}$$

vìBây giờ, bạn có thể biểu thị ở trên dưới dạng sản phẩm vector (bên trong)$z_j^{(k+1)} = \sum_i W_{ij}^{(k)}a_i^{(k)}.$

$$\frac{\partial E}{\partial a_i^{(k)}} = (W_{:,i}^{(k)})^T \nabla_{\mathbf{z}^{(k+1)}} E$$ và xếp chúng vào chúng ta có thể biểu thị dưới dạng sản phẩm vector ma trận$(\star),$$\nabla_{\mathbf{a}^{(k)}} E$

$$\nabla_{\mathbf{a}^{(k)}} E = (\mathbf{W}^{(k)})^T\nabla_{\mathbf{z}^{(k+1)}} E.$$

Tôi sẽ để phần còn lại cho bạn :)

Tính toán véc tơ nhiều hơn!

Chúng ta hãy sử dụng quy ước của vectơ như vectơ cột. Sau đó và$\mathbf{z}^{(k+1)} = (\mathbf{W}^{(k)})^T \mathbf{a}^{(k)} + \mathbf{b}^{(k)}$

$$\nabla_{\mathbf{a}^{(k)}} E = \frac{\partial E}{\partial \mathbf{a}^{(k)}} = \frac{\partial \mathbf{z^{(k+1)}}}{\partial \mathbf{a}^{(k)}} \frac{\partial E}{\partial \mathbf{z}^{(k+1)}}= \mathbf{W}^{(k)} \frac{\partial E}{\partial \mathbf{z}^{(k+1)}}$$

bởi vì

$$\frac{\partial \mathbf{z^{(k+1)}}}{\partial \mathbf{a}^{(k)}} = \dfrac{\partial\left((\mathbf{W}^{(k)})^T \mathbf{a}^{(k)} + \mathbf{b}^{(k)}\right)}{\partial \mathbf{a}^{(k)}}=\dfrac{\partial\left((\mathbf{W}^{(k)})^T \mathbf{a}^{(k)}\right)}{\partial \mathbf{a}^{(k)}} + \dfrac{\partial\mathbf{b}^{(k)}}{\partial \mathbf{a}^{(k)}}$$

và vì không phụ thuộc vào$\dfrac{\partial\mathbf{b}^{(k)}}{\partial \mathbf{a}^{(k)}}=0$$\mathbf{b}^{(k)}$$\mathbf{a}^{(k)}.$

Như vậy

$$\dfrac{\partial\left((\mathbf{W}^{(k)})^T \mathbf{a}^{(k)}\right)}{\partial \mathbf{a}^{(k)}} = \dfrac{\partial \mathbf{a}^{(k)}}{\partial \mathbf{a}^{(k)}} \mathbf{W}^{(k)} = \mathbf{W}^{(k)}.$$

theo vector-by-vector (hàng thứ tám và thứ bảy, danh tính cột cuối cùng, tương ứng)