Làm rõ về trực giác đằng sau backpropagation

Tôi đã dành một chút thời gian để thử và hiểu các tính toán và cơ học của các thuật toán học máy mà tôi sử dụng trong cuộc sống hàng ngày.

Nghiên cứu tài liệu truyền bá về khóa học CS231n, tôi muốn chắc chắn rằng tôi đã hiểu đúng quy tắc chuỗi trước khi tiếp tục nghiên cứu.

Nói rằng tôi có chức năng sigmoid:

σ (x) = = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1+e^{-x}}$

trong trường hợp này, $x=w0x0+w1x1+w2$

Chúng ta có thể viết hàm này dưới dạng biểu đồ tính toán (Bỏ qua các giá trị màu bây giờ):

Chúng ta có thể nhóm các nút được mô đun hóa để tính toán độ dốc của sigmoid $w.r.t.$ đầu vào của nó thành một dẫn xuất duy nhất:

\frac{d σ (x)}{d x} = = (1 - σ (x)) σ (x)

$\frac{d\sigma(x)}{d x}=(1 - \sigma(x))\sigma(x)$

Đầu tiên, chúng tôi thực hiện chuyển tiếp để có được đầu ra tại mỗi đơn vị:

w = [2,-3,-3] 
x = [-1, -2]

# Compute the forward pass 
product = [w[0]*x[0]+w[1]*x[1]+w[2]]
activation = 1 / 1 + math.exp(-product)

Để tính toán độ dốc của kích hoạt, chúng ta có thể sử dụng công thức trên:

grad_product = (1 - activation) * activation

Nơi tôi cảm thấy mình có thể bị lẫn lộn, hoặc, ít nhất là ít trực quan hơn, đang tính toán độ dốc cho xvà w:

grad_x = [w[0] * activation + w[2] * activation]
grad_w = [x[0] * activation + x[1] * activation + 1 * activation]

Cụ thể hơn, tôi bối rối về lý do tại sao chúng ta áp dụng 1 * activationkhi tính toán độ dốc $w.r.t.$ w.

Nó có thể giúp người đọc phát hiện ra khó khăn lý thuyết của tôi nếu tôi cố gắng lý giải các tính toán của cả độ dốc của x và w ...

Độ dốc của mỗi $x_i$ được đưa ra bởi tương ứng $w_i$ theo quy tắc nhân: if $f(x,y) = f(xy)$ sau đó $\frac{\partial f}{\partial x}=y$ . Sau đó, bằng cách sử dụng quy tắc chuỗi, chúng tôi nhân các gradient cục bộ này với độ dốc của nút liên tiếp (cho mỗi đường dẫn của $x$ ) để thu được gradient của nó, đầu ra hàm. Điều này giải thích tính toán cho máy tính $\partial x$ .

Độ dốc của $w_i$ được đưa ra theo cách chính xác (nghịch đảo) như đã giải thích ở trên với phần bổ sung 1 * activation. Tôi tin rằng biểu hiện bổ sung này đến từ $w_2$ ? Độ dốc cục bộ của một đơn vị bổ sung luôn là 1 cho tất cả các đầu vào và phép nhân với activationkết quả của việc nối chuỗi độ dốc với đầu ra của hàm?

Tôi tự tin một phần với sự hiểu biết hiện tại của mình nhưng sẽ đánh giá cao nếu ai đó có thể làm rõ trực giác hiện tại của tôi về các tính toán liên quan đến độ dốc tính toán.

machine-learning intuition backpropagation

— Sam
nguồn

Câu trả lời:

Những gì bạn muốn tính toán, là

\frac{\partial σ (\hat{x})}{\partial \vec{x}} = = [\frac{\partial σ (\hat{x})}{\partial x_{0}}, \frac{\partial σ (\hat{x})}{\partial x_{1}}]

$\frac{\partial \sigma(\hat{x})}{\partial \vec{x}}=\left[\frac{\partial \sigma(\hat{x})}{\partial x_0},\frac{\partial \sigma(\hat{x})}{\partial x_1}\right]$

và

\frac{\partial σ (\hat{x})}{\partial \vec{w}} = = [\frac{\partial σ (\hat{x})}{\partial w_{0}}, \frac{\partial σ (\hat{x})}{\partial w_{1}}, \frac{\partial σ (\hat{x})}{\partial w_{2}}]

$\frac{\partial \sigma({\hat{x}})}{\partial \vec{w}}=\left[\frac{\partial \sigma(\hat{x})}{\partial w_0},\frac{\partial \sigma(\hat{x})}{\partial w_1},\frac{\partial \sigma(\hat{x})}{\partial w_2}\right]$

biết rằng $\hat{x}$ thực tế là một hàm của các biến đó, như $\hat{x}=w_0x_0+w_1x_1+w_2$ .

Bạn có thể sử dụng quy tắc chuỗi để tính toán này như sau:

\frac{\partial σ (\hat{x})}{\partial x_{0}} = = \frac{\partial σ (\hat{x})}{\partial \hat{x}} \frac{\partial \hat{x}}{\partial x_{0}}

$\frac{\partial \sigma(\hat{x})}{\partial x_0}=\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}\frac{\partial \hat{x}}{\partial x_0}$

Bạn đã biết rồi $\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}$

như của nó

\frac{\partial σ (\hat{x})}{\partial \hat{x}} = = (1 - σ (\hat{x})) σ (\hat{x})

$\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}=(1-\sigma(\hat{x}))\sigma(\hat{x})$

và đạo hàm thứ hai là tầm thường (nó chỉ là một đa thức! $\frac{\partial \hat{x}}{\partial x_0}=w_0$ ). Bây giờ bạn chỉ cần tính toán cho 5 đạo hàm riêng. Nói ngắn gọn:

\frac{\partial σ (\hat{x})}{\partial \vec{x}} = = [\frac{\partial σ (\hat{x})}{\partial \hat{x}} w_{0}, \frac{\partial σ (\hat{x})}{\partial \hat{x}} w_{1}]

$\frac{\partial \sigma(\hat{x})}{\partial \vec{x}}=\left[\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}w_0,\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}w_1\right]$

\frac{\partial σ (\hat{\hat{x}})}{\partial \vec{w}} = = [\frac{\partial σ (\hat{x})}{\partial \hat{x}} x_{0}, \frac{\partial σ (x)}{\partial \hat{x}} x_{1}, \frac{\partial σ (\hat{x})}{\partial \hat{x}}]

$\frac{\partial \sigma(\hat{\hat{x}})}{\partial \vec{w}}=\left[\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}x_0,\frac{\partial \sigma(x)}{\partial \hat{x}}x_1,\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}\right]$

— Ander Biguri
nguồn

Cách tốt nhất để hiểu backpropagation cho một lập trình viên là về mặt quy tắc chuỗi như một đệ quy.

Đây là quy tắc chuỗi. Bạn có một biểu thức hàm lồng nhau $y=f(g(x))$ . Đầu tiên bạn xem nó như hai chức năng khác nhau:

f (x) g (x)

$f(x)\\g(x)$ Khi bạn truyền bá về phía trước, không có gì ngoài mã psudo này:

t = = g (x) y = = f (t)

$t=g(x)\\ y=f(t)$

Bây giờ, nếu bạn muốn lấy đạo hàm, bạn áp dụng quy tắc chuỗi:

y^{'} = = f (g (x))^{'} = = f^{'} g^{'}

$y'=f(g(x))'=f'g'$ Ở đâu

f^{'} = = d f (t) / d t

$f'=df(t)/dt$ và

g^{'} = = d g (x) / d x

$g'=dg(x)/dx$ Đây về cơ bản là một đệ quy trên một cấu trúc lồng nhau. Nếu

g (x) = g (h (x))

$g(x)=g(h(x))$ , sau đó bạn chỉ cần áp dụng quy tắc chuỗi một lần nữa và tiếp tục thực hiện cho đến khi bạn chạm đến đáy, tức là lớp đầu vào trong trường hợp NN.

Đây là một ví dụ, một nơron:

một = = S Tôi g m o Tôi d (W x + b)

$a=sigmoid(Wx+b)$ Bạn có hai chức năng ở đây:

s i g m o i d (x)

$sigmoid(x)$ và

W x + b

$Wx+b$ .

Nếu bạn có hai lớp tế bào thần kinh thì không khác nhiều:

S Tôi g m o Tôi d (W_{1} * S Tôi g m o Tôi d (W x + b) + b_{1})

$sigmoid(W_1*sigmoid(Wx+b)+b_1)$ vì vậy bạn đi ngược lại:

z = = W x + b {một}_{1} = = S Tôi g m o Tôi d (z) z_{1} = = W_{1} * {một}_{1} + b_{1} {một}_{2} = = S Tôi g m o Tôi d (z_{1})

$z=Wx+b\\a_1=sigmoid(z)\\z_1=W_1*a_1+b_1\\a_2=sigmoid(z_1)$

— Aksakal
nguồn