Chính xác thì khối Học tập còn lại trong bối cảnh Mạng lưới cư trú sâu trong Học tập sâu là gì?

Tôi đang đọc bài viết Học tập dư thừa sâu để nhận dạng hình ảnh và tôi gặp khó khăn trong việc hiểu chắc chắn 100% những gì một khối còn lại đòi hỏi tính toán. Đọc bài báo của họ, họ có hình 2:

trong đó minh họa những gì Khối dư có thể giả sử. Là tính toán của một khối dư đơn giản giống như:

y = = σ (W_{2} σ (W_{1} x + b_{1}) + b_{2} + x)

$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$

Hay nó là cái gì khác?

Nói cách khác, có thể cố gắng khớp với ký hiệu của bài báo, là:

F (x) + x = = [W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x

$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$

điều đó có đúng không

Lưu ý rằng sau khi tổng kết vòng tròn, từ ReLU xuất hiện trên tờ giấy, do đó, đầu ra của Khối dư (mà tôi ký hiệu là ) phải là: $\mathbf{y}$

σ (F (x) + x) = = σ ([W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x)

$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$

với một phi tuyến ReLU bổ sung . $\sigma$

— Charlie Parker
nguồn

là x là dương relu (x) = x

— Ray Tayek

Đúng vậy, bạn có thể xem mô hình caffe của họ để xem cách thức triển khai.

— không
nguồn