Độ dốc của một mạng nơ ron đơn lớp ghi các đầu vào của nó, toán tử trong quy tắc chuỗi là gì?

Vấn đề là:

Lấy độ dốc liên quan đến lớp đầu vào cho mạng thần kinh một lớp ẩn đơn bằng cách sử dụng sigmoid cho đầu vào -> hidden, softmax cho hidden -> đầu ra, với mất entropy chéo.

Tôi có thể vượt qua hầu hết các công cụ phái sinh bằng cách sử dụng quy tắc chuỗi nhưng tôi không chắc chắn về cách thực sự "xâu chuỗi" chúng lại với nhau.

Xác định một số ký hiệu

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ , là hàm sigmoid $\sigma$

$\theta = hW_2+b_2$ ,

$\hat{y} = S \left( \theta \right)$ , là hàm softmax $S$

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ , là vector thực một nhãn $y$

Sau đó, theo quy tắc chuỗi,

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

Độ dốc cá nhân là:

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

Bây giờ chúng ta phải xâu chuỗi các định nghĩa lại với nhau. Trong một biến đơn giản, điều này thật dễ dàng, chúng ta chỉ cần nhân mọi thứ lại với nhau. Trong các vectơ, tôi không chắc nên sử dụng phép nhân phần tử hay phép nhân ma trận.

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

Trong đó là phép nhân các phần tử của vectơ và là một ma trận nhân. Sự kết hợp các hoạt động này là cách duy nhất mà tôi dường như có thể xâu chuỗi chúng lại với nhau để có được một vectơ kích thước , mà tôi biết phải có. $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

Câu hỏi của tôi là: cách nguyên tắc để tôi tìm ra toán tử nào sẽ sử dụng? Tôi đặc biệt bối rối bởi sự cần thiết của yếu tố khôn ngoan giữa và . $W_2^T$ $h$

Cảm ơn!

neural-networks gradient

— amatsukawa
nguồn

Tôi nhận thấy việc tìm gradient wrt cho các đầu vào thường không được thực hiện. Tôi tin rằng đây là một hướng dẫn trong việc tính toán các từ nhúng, trong đó bạn có tùy chọn để tối ưu hóa các vectơ từ "đầu vào".

— amatsukawa

Làm thế nào bạn đã dervie dJ / dTheta

— raaj

Câu trả lời:

Tôi tin rằng chìa khóa để trả lời câu hỏi này là chỉ ra rằng phép nhân phần tử thực sự là tốc ký và do đó khi bạn rút ra các phương trình bạn không bao giờ thực sự sử dụng nó.

Hoạt động thực tế không phải là phép nhân phần tử mà thay vào đó là phép nhân ma trận chuẩn của một gradient với Jacobian , luôn luôn .

Trong trường hợp phi tuyến tính, Jacobian của đầu ra vectơ của phi tuyến tính đối với đầu vào vectơ của phi tuyến tính xảy ra là một ma trận đường chéo. Do đó, đúng là độ dốc nhân với ma trận này tương đương với độ dốc của đầu ra của phi tuyến đối với phần tử mất thông số nhân với một vectơ chứa tất cả các đạo hàm riêng của phi tuyến đối với đầu vào của phi tuyến, nhưng điều này theo sau Jacobian là đường chéo. Bạn phải vượt qua bước Jacobian để có được phép nhân phần tử, điều này có thể giải thích cho sự nhầm lẫn của bạn.

Trong toán học, chúng tôi có một số phi tuyến , một sự mất mát , và một đầu vào cho các phi tuyến (điều này có thể là bất kỳ tensor). Đầu ra của phi tuyến có cùng kích thước --- như @Logan nói, hàm kích hoạt được định nghĩa là phần tử khôn ngoan. $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

Chúng tôi muốn

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

Trong đó là Jacobian của . Mở rộng Jacobian này, chúng tôi nhận được $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

Chúng tôi thấy rằng nó ở khắp mọi nơi bằng không, ngoại trừ đường chéo. Chúng ta có thể tạo một vectơ của tất cả các phần tử đường chéo của nó

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

Và sau đó sử dụng toán tử phần tử khôn ngoan.

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— người dùng0
nguồn

Bất cứ khi nào cân bằng lại cho một chức năng kích hoạt, các hoạt động trở thành yếu tố khôn ngoan. Cụ thể, sử dụng ví dụ của bạn, là một dẫn xuất backpropagation và là một dẫn xuất kích hoạt và sản phẩm của họ là sản phẩm nguyên tố, . Điều này là do các hàm kích hoạt được định nghĩa là các hoạt động của phần tử trong mạng nơ ron. $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

Xem các slide bài giảng cs224d trang 30, nó cũng có thể hữu ích.

— quả nhãn
nguồn