Tại sao trở lại tuyên truyền qua thời gian trong một RNN?

Trong một mạng thần kinh tái phát, bạn thường sẽ chuyển tiếp truyền qua một số bước thời gian, "hủy đăng ký" mạng và sau đó truyền lại qua chuỗi các đầu vào.

Tại sao bạn không chỉ cập nhật các trọng số sau mỗi bước riêng lẻ trong chuỗi? . . Tôi đã đào tạo một mô hình theo cách này để tạo văn bản và kết quả dường như tương đương với kết quả mà tôi đã thấy từ các mô hình được đào tạo BPTT. Tôi chỉ bối rối về điều này bởi vì mọi hướng dẫn về RNN mà tôi đã thấy đều nói rằng nên sử dụng BPTT, gần như là nó được yêu cầu cho việc học tập đúng đắn, đó không phải là trường hợp.

Cập nhật: Tôi đã thêm một câu trả lời

Chỉnh sửa: Tôi đã phạm một sai lầm lớn khi so sánh hai phương pháp và phải thay đổi câu trả lời của mình. Hóa ra cách tôi đang làm, chỉ cần tuyên truyền lại về bước thời gian hiện tại, thực sự bắt đầu học nhanh hơn. Các bản cập nhật nhanh chóng tìm hiểu các mẫu cơ bản nhất rất nhanh chóng. Nhưng trên một tập dữ liệu lớn hơn và với thời gian đào tạo dài hơn, BPTT thực tế đã đứng đầu. Tôi đã thử nghiệm một mẫu nhỏ chỉ trong vài kỷ nguyên và cho rằng bất cứ ai bắt đầu chiến thắng cuộc đua sẽ là người chiến thắng. Nhưng điều này đã dẫn tôi đến một phát hiện thú vị. Nếu bạn bắt đầu đào tạo trở lại tuyên truyền chỉ một bước duy nhất, sau đó thay đổi thành BPTT và từ từ tăng khoảng cách bạn tuyên truyền trở lại, bạn sẽ hội tụ nhanh hơn.

RNN là Mạng nơ-ron sâu (DNN) trong đó mỗi lớp có thể nhận đầu vào mới nhưng có cùng tham số. BPT là một từ ưa thích cho Back Propagation trên một mạng như vậy, bản thân nó là một từ ưa thích cho Gradient Descent.

Nói rằng RNN đầu ra y t trong từng bước và e r r o r t = ( y t - y t ) 2$\hat{y}_t$

$$\begin{equation} error_t=(y_t-\hat{y}_t)^2 \end{equation}$$

Để tìm hiểu các trọng số, chúng ta cần độ dốc cho hàm để trả lời câu hỏi "thay đổi tham số ảnh hưởng đến hàm mất bao nhiêu?" và di chuyển các tham số theo hướng được đưa ra bởi:

$$\begin{equation} \nabla error_t=-2(y_t-\hat{y}_t)\nabla \hat{y}_t \end{equation}$$

Tức là chúng tôi có một DNN nơi chúng tôi nhận được phản hồi về mức độ dự đoán tốt ở mỗi lớp. Vì một thay đổi trong tham số sẽ thay đổi mọi lớp trong DNN (dấu thời gian) và mỗi lớp đóng góp vào các đầu ra sắp tới, điều này cần phải được tính đến.

Lấy một mạng nơ-ron một lớp đơn giản để thấy điều này một cách rõ ràng:

$$\begin{align*} \hat{y}_{t+1} =& f(a+bx_t+c\hat{y}_t)\\ \frac{\partial}{\partial a}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot c\cdot \frac{\partial}{\partial a}\hat{y}_{t} \\ \frac{\partial}{\partial b}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (x_t+c\cdot\frac{\partial}{\partial b}\hat{y}_{t})\\ \frac{\partial}{\partial c}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (\hat{y}_t+c\cdot\frac{\partial}{\partial c}\hat{y}_{t})\\ \iff\\ \nabla \hat{y}_{t+1} =& f'(a+bx_t+c\hat{y}_t)\cdot \left(\begin{bmatrix}0\\x_t\\\hat{y}_t \end{bmatrix} + c \mathbin{\color{red}{\nabla \hat{y}_{t}}} \right) \end{align*}$$

Với tỷ lệ học bước một đào tạo là sau đó: [ ~ một ~ b ~ c ] ← [ một b c ] + δ ( y t - $\delta$

$$\begin{equation} \begin{bmatrix}\tilde{a}\\\tilde{b}\\\tilde{c}\end{bmatrix} \leftarrow \begin{bmatrix}a\\b\\c\end{bmatrix} + \delta (y_{t}-\hat{y}_{t})\nabla \hat{y}_t \end{equation}$$

$\nabla \hat{y}_{t+1}$$\nabla \hat{y}_{t}$$t$

$$\begin{equation} error=\sum_t(y_t-\hat{y}_t)^2 \end{equation}$$

Có lẽ mỗi bước sau đó sẽ đóng góp một hướng thô mà đủ trong tổng hợp? Điều này có thể giải thích kết quả của bạn nhưng tôi thực sự muốn nghe thêm về chức năng phương pháp / mất của bạn! Cũng sẽ quan tâm đến việc so sánh với hai dấu thời gian ANN.

chỉnh sửa4: Sau khi đọc các bình luận, có vẻ như kiến ​​trúc của bạn không phải là RNN.

$h_t$

Mô hình của bạn: Không trạng thái - trạng thái ẩn được xây dựng lại trong mỗi bước chỉnh sửa2: thêm nhiều ref hơn vào DNNs edit3: bước tiến cố định và một số ký hiệu chỉnh sửa5: Đã sửa lỗi diễn giải mô hình của bạn sau khi trả lời / làm rõ.

"Mở ra theo thời gian" chỉ đơn giản là một ứng dụng của quy tắc chuỗi,

$$\frac{dF(g(x), h(x), m(x))}{dx} = \frac{\partial F}{\partial g}\frac{dg}{dx} + \frac{\partial F}{\partial h}\frac{dh}{dx} + \frac{\partial F}{\partial m}\frac{dm}{dx}$$

The output of an RNN at time step $t$, $H_t$ is a function of the parameters $\theta$, the input $x_t$ and the previous state, $H_{t-1}$ (note that instead $H_t$ may be transformed again at time step $t$ to obtain the output, that is not important here). Remember the goal of gradient descent: given some error function $L$, let's look at our error for the current example (or examples), and then let's adjust $\theta$ in such a way, that given the same example again, our error would be reduced.

How exactly did $\theta$ contribute to our current error? We took a weighted sum with our current input, $x_t$, so we'll need to backpropagate through the input to find $\nabla_\theta a(x_t, \theta)$, to work out how to adjust $\theta$. But our error was also the result of some contribution from $H_{t-1}$, which was also a function of $\theta$, right? So we need to find out $\nabla_\theta H_{t-1}$, which was a function of $x_{t-1}$, $\theta$ and $H_{t-2}$. But $H_{t-2}$ was also a function a function of $\theta$. And so on.