Mạng lưới thần kinh sâu - Backpropogation với ReLU

Tôi gặp một số khó khăn trong việc thu hút sự lan truyền trở lại với ReLU và tôi đã thực hiện một số công việc, nhưng tôi không chắc liệu mình có đi đúng hướng hay không.

Hàm chi phí: trong đó là giá trị thực và là giá trị dự đoán. Cũng giả sử rằng > 0 luôn.$\frac{1}{2}(y-\hat y)^2$ y$y$$\hat y$$x$

ReLU 1 lớp, trong đó trọng lượng ở lớp 1 là$w_1$

$\frac{dC}{dw_1}=\frac{dC}{dR}\frac{dR}{dw_1}$

$\frac{dC}{w_1}=(y-ReLU(w_1x))(x)$

ReLU 2 lớp, trong đó các trọng số ở lớp 1 là và lớp thứ 2 là Và tôi muốn cập nhật lớp 1$w_2$$w_1$$w_2$

$\frac{dC}{dw_2}=\frac{dC}{dR}\frac{dR}{dw_2}$

$\frac{dC}{w_2}=(y-ReLU(w_1*ReLU(w_2x))(w_1x)$

Vì$ReLU(w_1*ReLU(w_2x))=w_1w_2x$

3 lớp ReLU, trong đó các trọng số ở lớp 1 là , lớp 2 và lớp 3w 2 w $w_3$$w_2$$w_1$

$\frac{dC}{dw_3}=\frac{dC}{dR}\frac{dR}{dw_3}$

$\frac{dC}{w_3}=(y-ReLU(w_1*ReLU(w_2(*ReLU(w_3)))(w_1w_2x)$

Vì$ReLU(w_1*ReLU(w_2(*ReLU(w_3))=w_1w_2w_3x$

Vì quy tắc chuỗi chỉ tồn tại với 2 dẫn xuất, so với sigmoid, có thể dài bằng số lớp.$n$

Giả sử tôi muốn cập nhật tất cả các trọng số 3 lớp, trong đó là lớp thứ 3, là lớp thứ 2, là lớp thứ 3w 2 w $w_1$$w_2$$w_1$

$\frac{dC}{w_1}=(y-ReLU(w_1x))(x)$

$\frac{dC}{w_2}=(y-ReLU(w_1*ReLU(w_2x))(w_1x)$

$\frac{dC}{w_3}=(y-ReLU(w_1*ReLU(w_2(*ReLU(w_3)))(w_1w_2x)$

Nếu đạo hàm này là chính xác, làm thế nào điều này ngăn chặn sự biến mất? So với sigmoid, nơi chúng ta có rất nhiều phép nhân với 0,25 trong phương trình, trong khi ReLU không có bất kỳ phép nhân giá trị không đổi nào. Nếu có hàng ngàn lớp, sẽ có rất nhiều phép nhân do trọng lượng, vậy điều này có gây ra sự biến mất hoặc nổ tung gradient không?

Các định nghĩa làm việc của hàm ReLU và đạo hàm của nó:

$ReLU(x) = \begin{cases} 0, & \text{if } x < 0, \\ x, & \text{otherwise}. \end{cases}$

$\frac{d}{dx} ReLU(x) = \begin{cases} 0, & \text{if } x < 0, \\ 1, & \text{otherwise}. \end{cases}$

Đạo hàm là hàm bước đơn vị . Điều này không bỏ qua một vấn đề tại , trong đó độ dốc không được xác định nghiêm ngặt, nhưng đó không phải là mối quan tâm thực tế cho các mạng thần kinh. Với công thức trên, đạo hàm tại 0 là 1, nhưng bạn có thể coi nó là 0 hoặc 0,5 mà không có tác động thực sự đến hiệu suất mạng thần kinh.$x=0$

Mạng đơn giản

Với những định nghĩa đó, chúng ta hãy xem các mạng mẫu của bạn.

Bạn đang chạy hồi quy với hàm chi phí . Bạn đã định nghĩa là đầu ra của nơ ron nhân tạo, nhưng bạn chưa xác định giá trị đầu vào. Tôi sẽ thêm nó cho đầy đủ - gọi nó là , thêm một số chỉ mục theo lớp và tôi thích chữ thường cho vectơ và chữ hoa cho ma trận, vì vậy đầu ra của lớp đầu tiên, cho đầu vào của nó và cho trọng lượng kết nối nơron với đầu vào của nó (trong một mạng lớn hơn, có thể kết nối với sâu hơn$C = \frac{1}{2}(y-\hat{y})^2$$R$$z$$r^{(1)}$$z^{(1)}$$W^{(0)}$$x$$r$giá trị thay thế). Tôi cũng đã điều chỉnh số chỉ mục cho ma trận trọng số - tại sao điều đó sẽ trở nên rõ ràng hơn đối với mạng lớn hơn. NB Tôi đang bỏ qua việc có nhiều hơn nơ ron trong mỗi lớp.

Nhìn vào mạng 1 lớp, 1 nơ ron đơn giản của bạn, các phương trình chuyển tiếp là:

$z^{(1)} = W^{(0)}x$

$\hat{y} = r^{(1)} = ReLU(z^{(1)})$

Đạo hàm của hàm chi phí viết một ước tính ví dụ là:

$\frac{\partial C}{\partial \hat{y}} = \frac{\partial C}{\partial r^{(1)}} = \frac{\partial}{\partial r^{(1)}}\frac{1}{2}(y-r^{(1)})^2 = \frac{1}{2}\frac{\partial}{\partial r^{(1)}}(y^2 - 2yr^{(1)} + (r^{(1)})^2) = r^{(1)} - y$

Sử dụng quy tắc chuỗi để truyền ngược trở lại giá trị trước biến đổi ( ):$z$

$\frac{\partial C}{\partial z^{(1)}} = \frac{\partial C}{\partial r^{(1)}} \frac{\partial r^{(1)}}{\partial z^{(1)}} = (r^{(1)} - y)Step(z^{(1)}) = (ReLU(z^{(1)}) - y)Step(z^{(1)})$

Đây là một giai đoạn tạm thời và một phần quan trọng của backprop nối bước nhau. Các công cụ phái sinh thường bỏ qua phần này vì sự kết hợp thông minh của hàm chi phí và lớp đầu ra có nghĩa là nó được đơn giản hóa. Ở đây không có.$\frac{\partial C}{\partial z^{(1)}}$

Để có được độ dốc tương ứng với trọng số , thì đó là một bước lặp khác của quy tắc chuỗi:$W^{(0)}$

$\frac{\partial C}{\partial W^{(0)}} = \frac{\partial C}{\partial z^{(1)}} \frac{\partial z^{(1)}}{\partial W^{(0)}} = (ReLU(z^{(1)}) - y)Step(z^{(1)})x = (ReLU(W^{(0)}x) - y)Step(W^{(0)}x)x$

. . . bởi vì do đó$z^{(1)} = W^{(0)}x$$\frac{\partial z^{(1)}}{\partial W^{(0)}} = x$

Đó là giải pháp đầy đủ cho mạng đơn giản nhất của bạn.

Tuy nhiên, trong một mạng lớp, bạn cũng cần mang logic tương tự xuống lớp tiếp theo. Ngoài ra, bạn thường có nhiều hơn một nơron trong một lớp.

Mạng ReLU tổng quát hơn

Nếu chúng ta thêm các thuật ngữ chung chung hơn, thì chúng ta có thể làm việc với hai lớp tùy ý. Gọi chúng là Layer được lập chỉ mục bởi và Layer được lập chỉ mục bởi . Các trọng lượng bây giờ là một ma trận. Vì vậy, các phương trình chuyển tiếp thức ăn của chúng tôi trông như thế này:$(k)$$i$$(k+1)$$j$

$z^{(k+1)}_j = \sum_{\forall i} W^{(k)}_{ij}r^{(k)}_i$

$r^{(k+1)}_j = ReLU(z^{(k+1)}_j)$

Trong lớp đầu ra, sau đó độ dốc ban đầu wrt vẫn là . Tuy nhiên, bây giờ hãy bỏ qua điều đó và xem cách chung để truyền lại, giả sử chúng ta đã tìm thấy - chỉ cần lưu ý rằng điều này cuối cùng nơi chúng tôi nhận được các gradient chức năng chi phí đầu ra từ. Sau đó, có 3 phương trình chúng ta có thể viết ra theo quy tắc chuỗi:$r^{output}_j$$r^{output}_j - y_j$$\frac{\partial C}{\partial r^{(k+1)}_j}$

Đầu tiên chúng ta cần đến đầu vào nơ ron trước khi áp dụng ReLU:

1. $\frac{\partial C}{\partial z^{(k+1)}_j} = \frac{\partial C}{\partial r^{(k+1)}_j} \frac{\partial r^{(k+1)}_j}{\partial z^{(k+1)}_j} = \frac{\partial C}{\partial r^{(k+1)}_j}Step(z^{(k+1)}_j)$

Chúng ta cũng cần truyền bá gradient tới các lớp trước đó, bao gồm tổng hợp tất cả các ảnh hưởng được kết nối đến từng nơron:

2. $\frac{\partial C}{\partial r^{(k)}_i} = \sum_{\forall j} \frac{\partial C}{\partial z^{(k+1)}_j} \frac{\partial z^{(k+1)}_j}{\partial r^{(k)}_i} = \sum_{\forall j} \frac{\partial C}{\partial z^{(k+1)}_j} W^{(k)}_{ij}$

Và chúng ta cần kết nối điều này với ma trận trọng số để điều chỉnh sau:

3. $\frac{\partial C}{\partial W^{(k)}_{ij}} = \frac{\partial C}{\partial z^{(k+1)}_j} \frac{\partial z^{(k+1)}_j}{\partial W^{(k)}_{ij}} = \frac{\partial C}{\partial z^{(k+1)}_j} r^{(k)}_{i}$

Bạn có thể giải quyết những vấn đề này hơn nữa (bằng cách thay thế các giá trị trước đó) hoặc kết hợp chúng (thường là các bước 1 và 2 được kết hợp để liên kết lớp chuyển đổi trước lớp theo từng lớp). Tuy nhiên, trên đây là hình thức chung nhất. Bạn cũng có thể thay thế trong phương trình 1 cho bất kỳ hàm đạo hàm nào là hàm kích hoạt hiện tại của bạn - đây là nơi duy nhất ảnh hưởng đến các phép tính.$Step(z^{(k+1)}_j)$

Quay lại câu hỏi của bạn:

Nếu đạo hàm này là chính xác, làm thế nào điều này ngăn chặn sự biến mất?

Đạo hàm của bạn không đúng Tuy nhiên, điều đó không hoàn toàn giải quyết mối quan tâm của bạn.

Sự khác biệt giữa việc sử dụng sigmoid so với ReLU chỉ nằm ở chức năng bước so với ví dụ của sigmoid , được áp dụng một lần cho mỗi lớp. Như bạn có thể thấy từ các phương trình từng lớp ở trên, độ dốc của hàm truyền chỉ xuất hiện ở một nơi. Đạo hàm trường hợp tốt nhất của sigmoid thêm hệ số 0,25 (khi ), và nó trở nên tồi tệ hơn thế và bão hòa nhanh chóng đến gần đạo hàm 0 từ . Độ dốc của ReLU là 0 hoặc 1, và trong một mạng khỏe sẽ thường là 1 đủ để có ít mất độ dốc hơn trong quá trình truyền ngược. Điều này không được đảm bảo, nhưng các thí nghiệm cho thấy ReLU có hiệu suất tốt trong các mạng sâu.$y(1-y)$$x = 0, y = 0.5$$x=0$

Nếu có hàng ngàn lớp, sẽ có rất nhiều phép nhân do trọng lượng, vậy điều này có gây ra sự biến mất hoặc nổ tung gradient không?

Vâng, điều này có thể có một tác động quá. Đây có thể là một vấn đề bất kể sự lựa chọn chức năng chuyển. Trong một số kết hợp, ReLU cũng có thể giúp kiểm soát độ dốc phát nổ, bởi vì nó không bão hòa (vì vậy các chỉ tiêu trọng lượng lớn sẽ có xu hướng là giải pháp trực tiếp kém và trình tối ưu hóa không có khả năng di chuyển về phía chúng). Tuy nhiên, điều này không được đảm bảo.