Sự khác biệt giữa mạng thần kinh bị trì hoãn thời gian và mạng thần kinh tái phát

Tôi muốn sử dụng Mạng thần kinh để dự đoán chuỗi thời gian tài chính. Tôi đến từ một nền tảng CNTT và có một số kiến ​​thức về Mạng nơ-ron và tôi đã đọc về những điều này:

• TDNN
• RNN

Tôi đã tìm kiếm các gói R cho chúng và tôi chỉ tìm thấy một gói cho RNN, gói RSNNS có triển khai elman và jordan là RNN.

Vì vậy, Mạng thần kinh tái phát có hữu ích khi sử dụng với chuỗi thời gian (tài chính) không? Vì họ (trích dẫn từ liên kết wikipedia trên RNN đã trích dẫn trước đó):

Ở mỗi bước thời gian, đầu vào được truyền theo kiểu chuyển tiếp thức ăn tiêu chuẩn và sau đó áp dụng quy tắc học tập. Các kết nối trở lại cố định dẫn đến các đơn vị ngữ cảnh luôn duy trì một bản sao các giá trị trước đó của các đơn vị ẩn (vì chúng truyền qua các kết nối trước khi áp dụng quy tắc học tập). Do đó, mạng có thể duy trì một loại trạng thái, cho phép nó thực hiện các nhiệm vụ như dự đoán theo trình tự vượt quá khả năng của một tri giác đa lớp tiêu chuẩn.

trong thực tế không giống như mạng lưới thần kinh trì hoãn thời gian? Nếu không, sự khác biệt với Mạng nơ ron trễ thời gian là gì? Cả hai đều phù hợp để sử dụng với Time Series hay cái nào phù hợp hơn?

Cảm ơn trước!

Tôi chưa bao giờ làm việc với các mạng định kỳ, nhưng từ những gì tôi biết, trong thực tế, một số RNN và TDNN có thể được sử dụng cho cùng một mục đích mà bạn muốn: Dự đoán các giá trị chuỗi thời gian. Tuy nhiên, họ làm việc khác nhau.

Có thể với TDNN:

• Dự đoán giá trị của quá trình
• Tìm mối quan hệ giữa hai quá trình.

Một số RNN, như NARX cũng cho phép bạn làm điều đó và nó cũng được sử dụng để dự đoán chuỗi thời gian tài chính, thường tốt hơn TDNN.

Một TDNN trông giống như một mạng tiếp liệu, bởi vì khía cạnh thời gian chỉ được chèn qua các đầu vào của nó, không giống như NARX cũng cần giá trị dự đoán / tương lai thực như đầu vào. Đặc tính này làm cho TDNN kém mạnh hơn NARX để dự đoán các giá trị, nhưng yêu cầu xử lý ít hơn và dễ huấn luyện hơn.

Nếu bạn đang cố gắng tìm mối quan hệ giữa một quy trình và quy trình , NARX yêu cầu bạn phải có các giá trị trong quá khứ của , trong khi TDNN thì không.Y ( t ) $X(t)$$Y(t)$$Y$

Tôi khuyên bạn nên đọc Mạng thần kinh của Simon Haykin: Nền tảng toàn diện (Ấn bản 2) và Câu hỏi thường gặp này . Có rất nhiều kiến ​​trúc mạng lưới thần kinh và các biến thể. Đôi khi họ có nhiều tên hoặc không có sự đồng thuận về phân loại của họ.

TDNN là một cách đơn giản để biểu thị ánh xạ giữa các giá trị trong quá khứ và hiện tại. Sự chậm trễ trong TDNN không đổi trong suốt quy trình đào tạo và được ước tính trước bằng cách sử dụng thử và sai cùng với một số phương pháp phỏng đoán. Tuy nhiên, đó có thể là trường hợp các độ trễ cố định này không nắm bắt được các vị trí tạm thời thực tế của các phụ thuộc thời gian. Mặt khác, tính năng "bộ nhớ" của các cấu trúc RNN có thể nắm bắt thông tin này bằng cách tìm hiểu các phụ thuộc này. Vấn đề với RNN là chúng không thực tế khi sử dụng khi được đào tạo với các kỹ thuật truyền thống (ví dụ Backpropagation theo thời gian) để học các phụ thuộc dài hạn. Vấn đề này phát sinh từ cái gọi là "biến mất / bùng nổ" gradient về cơ bản có nghĩa là khi chúng ta truyền tín hiệu lỗi ngược qua cấu trúc mạng, chúng có xu hướng biến mất hoặc phát nổ. Các cấu trúc định kỳ nâng cao hơn (ví dụ LSTM) có các thuộc tính giảm thiểu vấn đề này và có thể tìm hiểu các phụ thuộc dài hạn và đặc biệt phù hợp để học dữ liệu tuần tự.