Tại sao định mức lô có quy mô có thể học và thay đổi?

Theo như tôi hiểu nó, định mức hàng loạt normalises tất cả các tính năng đầu vào cho một lớp với phân phối chuẩn đơn vị, . Giá trị trung bình và phương sai được ước tính bằng cách đo giá trị của họ cho dòng mini-lô. $\mathcal{N}(\mu=0,\sigma=1)$ $\mu, \sigma^2$

Sau khi chuẩn hóa, các đầu vào được chia tỷ lệ và thay đổi bởi các giá trị vô hướng:

{\hat{x}}_{Tôi}^{'} = = γ {\hat{x}}_{Tôi} + β

$\hat{x}_i' = \gamma \hat{x}_i + \beta$

(Sửa lỗi cho tôi nếu tôi sai ở đây - đây là lúc tôi bắt đầu có chút không chắc chắn.)

và là những giá trị vô hướng và có một cặp mỗi cho mỗi lớp batch-định chuẩn. Chúng được học cùng với các trọng số sử dụng backprop và SGD. $\gamma$ $\beta$

Câu hỏi của tôi là, không phải các tham số này là dư thừa bởi vì các đầu vào có thể được thu nhỏ và thay đổi theo bất kỳ cách nào bởi các trọng số trong chính lớp đó. Nói cách khác, nếu

y = = W {\hat{x}}^{'} + b

$y = W \hat{x}' + b$

và

{\hat{x}}^{'} = = γ \hat{x} + β

$\hat{x}' = \gamma \hat{x} + \beta$

sau đó

y = = W^{'} \hat{x} + b^{'}

$y = W' \hat{x} + b'$

nơi và $W' = W\gamma$ $b'=W\beta + b$ .

Vì vậy, điểm bổ sung chúng của mạng đã có khả năng học quy mô và thay đổi là gì? Hay tôi hoàn toàn hiểu lầm mọi thứ?

batch-normalization

— Timm
nguồn

Có một câu trả lời hoàn hảo trong Sách học tập sâu, Phần 8.7.1 :

Bình thường hóa độ lệch trung bình và độ lệch chuẩn của một đơn vị có thể làm giảm sức mạnh biểu cảm của mạng lưới thần kinh có chứa đơn vị đó. Để duy trì sức mạnh biểu cảm của mạng, người ta thường thay thế lô kích hoạt đơn vị ẩn H bằng γH + thay vì chỉ đơn giản là H. Các biến và là các tham số đã học cho phép biến mới có bất kỳ giá trị trung bình nào và độ lệch chuẩn. Thoạt nhìn, điều này có vẻ vô dụng - tại sao chúng ta lại đặt giá trị trung bình thành 0, và sau đó giới thiệu một tham số cho phép đặt lại thành bất kỳ giá trị tùy ý nào?

Câu trả lời là tham số hóa mới có thể đại diện cho cùng một nhóm chức năng của đầu vào là tham số cũ, nhưng tham số mới có động lực học tập khác nhau. Trong tham số cũ, giá trị trung bình của H được xác định bởi sự tương tác phức tạp giữa các tham số trong các lớp bên dưới H. Trong tham số mới, giá trị trung bình của γH + chỉ được xác định bởi. Các tham số mới dễ học hơn nhiều với độ dốc gốc.

— Timm
nguồn