Tại sao các trọng số của mạng RNN / LSTM được chia sẻ theo thời gian?

Gần đây tôi đã trở nên quan tâm đến các LSTM và tôi đã rất ngạc nhiên khi biết rằng các trọng số được chia sẻ theo thời gian.

• Tôi biết rằng nếu bạn chia sẻ các trọng số theo thời gian, thì chuỗi thời gian đầu vào của bạn có thể là một độ dài thay đổi.

• Với trọng lượng được chia sẻ, bạn có ít thông số hơn để đào tạo.

Theo hiểu biết của tôi, lý do người ta sẽ chuyển sang LSTM so với một số phương pháp học tập khác là vì bạn tin rằng có một loại cấu trúc / sự phụ thuộc theo thời gian / tuần tự trong dữ liệu của bạn mà bạn muốn tìm hiểu. Nếu bạn hy sinh độ dài thay đổi 'sang trọng' và chấp nhận thời gian tính toán dài, thì RNN / LSTM không có trọng số chung (nghĩa là cứ mỗi bước bạn có trọng lượng khác nhau) sẽ hoạt động tốt hơn hay tôi thiếu thứ gì?

Câu trả lời được chấp nhận tập trung vào khía cạnh thực tế của câu hỏi: nó sẽ đòi hỏi nhiều tài nguyên, nếu có các tham số không được chia sẻ. Tuy nhiên, quyết định chia sẻ các tham số trong RNN đã được đưa ra khi bất kỳ tính toán nghiêm trọng nào là một vấn đề (những năm 1980 theo wiki ), vì vậy tôi tin rằng đó không phải là đối số chính (mặc dù vẫn còn hiệu lực).

Có những lý do thuần túy để chia sẻ tham số:

• Nó giúp trong việc áp dụng mô hình cho các ví dụ có độ dài khác nhau. Trong khi đọc một chuỗi, nếu mô hình RNN sử dụng các tham số khác nhau cho mỗi bước trong quá trình đào tạo, nó sẽ không khái quát hóa để không nhìn thấy các chuỗi có độ dài khác nhau.

• Thông thường, các chuỗi hoạt động theo các quy tắc tương tự trên toàn chuỗi. Chẳng hạn, trong NLP:

                                                     "Vào thứ hai, tuyết rơi"

                                                     "Đó là tuyết vào thứ hai"

... Hai câu này có nghĩa giống nhau, mặc dù các chi tiết nằm trong các phần khác nhau của chuỗi. Chia sẻ tham số phản ánh thực tế rằng chúng tôi đang thực hiện cùng một nhiệm vụ ở mỗi bước, do đó, chúng tôi không phải học lại các quy tắc tại mỗi điểm trong câu.

LSTM không khác biệt theo nghĩa này, do đó nó cũng sử dụng các tham số được chia sẻ.

Quan điểm 'trọng số được chia sẻ' xuất phát từ suy nghĩ về RNN khi các mạng tiếp theo không được kiểm soát theo thời gian. Nếu các trọng số khác nhau tại từng thời điểm, đây sẽ chỉ là một mạng tiếp liệu. Nhưng, tôi cho rằng một cách khác để suy nghĩ về nó sẽ là một RNN có trọng số là một hàm thay đổi theo thời gian (và điều đó có thể cho phép bạn giữ khả năng xử lý các chuỗi có độ dài thay đổi).

Nếu bạn đã làm điều này, số lượng tham số sẽ tăng tuyến tính với số bước thời gian. Đó sẽ là một vụ nổ lớn của các tham số cho các chuỗi có độ dài đáng kể. Nó thực sự sẽ làm cho mạng mạnh hơn, nếu bạn có tài nguyên tính toán khổng lồ để chạy nó và dữ liệu lớn để hạn chế nó. Đối với các chuỗi dài, nó có thể sẽ không thể tính toán được và bạn sẽ bị thừa. Trong thực tế, mọi người thường đi theo hướng ngược lại bằng cách chạy backpropagation cắt ngắn theo thời gian, điều này chỉ hủy kết nối mạng trong một khoảng thời gian ngắn, thay vì toàn bộ chuỗi. Điều này được thực hiện cho tính khả thi tính toán. Điều thú vị là, RNN vẫn có thể tìm hiểu cấu trúc thời gian vượt quá độ dài cắt ngắn, bởi vì các đơn vị định kỳ có thể lưu trữ bộ nhớ từ trước đó.

Tôi nghĩ vì các RNN với các đợt tái phát ẩn (và trọng số được chia sẻ thời gian) tương đương với Máy Turing phổ dụng, cho phép chúng có các trọng số khác nhau cho các bước thời gian khác nhau không làm cho chúng mạnh hơn.