RNN học sóng hình sin có tần số khác nhau

Khi khởi động với các mạng thần kinh tái phát, tôi đang cố gắng dự đoán một sóng hình sin từ một sóng hình sin khác có tần số khác.

Mô hình của tôi là một RNN đơn giản, chuyển tiếp của nó có thể được thể hiện như sau:

trong đóσlà hàm sigmoïd.

Khi cả hai đầu vào đầu vào và đầu ra dự kiến ​​là hai sóng hình sin có cùng tần số nhưng với (có thể) một sự dịch pha, mô hình có thể hội tụ đúng đến một xấp xỉ hợp lý.

Tuy nhiên, trong trường hợp sau, mô hình hội tụ đến cực tiểu cục bộ và dự đoán bằng không mọi lúc:

• đầu vào: $x = sin(t)$
• sản lượng dự kiến: $y = sin(\frac{t}{2})$

Đây là những gì mạng dự đoán khi được cung cấp chuỗi đầu vào đầy đủ sau 10 kỷ nguyên đào tạo, sử dụng các lô nhỏ có kích thước 16, tỷ lệ học tập là 0,01, độ dài chuỗi 16 và các lớp ẩn có kích thước 32:

Điều đó dẫn đến tôi nghĩ rằng mạng không thể học theo thời gian và chỉ dựa vào đầu vào hiện tại để đưa ra dự đoán của nó.

Tôi đã cố gắng điều chỉnh tốc độ học tập, độ dài chuỗi và kích thước lớp ẩn mà không thành công.

Tôi đang có cùng một vấn đề với một LSTM. Tôi không muốn tin rằng những kiến ​​trúc này là thiếu sót, bất kỳ gợi ý nào về những gì tôi đang làm sai?

Tôi đang sử dụng gói rnn cho Torch, mã nằm trong Gist .

$\sin(t)$$2\pi$$\sin(t) = \sin(t+2\pi)$

$\sin(t/2)$$4\pi$$\sin(t/2) = -\sin(t+2\pi)$

Do đó, trong tập dữ liệu của bạn, bạn sẽ có các cặp đầu vào giống hệt nhau với đầu ra ngược lại. Về mặt lỗi bình phương trung bình, điều đó có nghĩa là giải pháp tối ưu là hàm null.

Đây là hai lát trong cốt truyện của bạn, nơi bạn có thể thấy các đầu vào giống hệt nhau nhưng các mục tiêu ngược lại