Sử dụng học sâu để dự đoán chuỗi thời gian

Tôi là người mới trong lĩnh vực học tập sâu và đối với tôi, bước đầu tiên là đọc các bài viết thú vị từ trang web deeplearning.net. Trong các bài báo về học tập sâu, Hinton và những người khác chủ yếu nói về việc áp dụng nó vào các vấn đề hình ảnh. Ai đó có thể cố gắng trả lời tôi không, nó có thể được áp dụng cho vấn đề dự đoán giá trị chuỗi thời gian (tài chính, lưu lượng truy cập internet, ...) và những điều quan trọng mà tôi nên tập trung nếu có thể?

Đã có một số công việc về việc điều chỉnh các phương pháp học sâu cho dữ liệu tuần tự. Rất nhiều công việc này đã tập trung vào việc phát triển các "mô-đun" có thể được xếp chồng lên nhau theo cách tương tự như sắp xếp các máy Boltzmann bị hạn chế (RBM) hoặc bộ tự động để tạo thành một mạng lưới thần kinh sâu. Tôi sẽ nhấn mạnh một vài điều dưới đây:

• RBM có điều kiện : Có lẽ là một trong những ứng dụng thành công nhất của việc học sâu cho chuỗi thời gian. Taylor phát triển một mô hình giống như RBM để thêm các tương tác tạm thời giữa các đơn vị có thể nhìn thấy và áp dụng nó để mô hình hóa dữ liệu chụp chuyển động. Về cơ bản, bạn kết thúc với một cái gì đó giống như một hệ thống động lực tuyến tính với một số phi tuyến tính được thêm bởi các đơn vị ẩn.
• RBM tạm thời : Trong luận án của mình (phần 3) Ilya Sutskever phát triển một số mô hình giống như RBM với các tương tác tạm thời giữa các đơn vị. Ông cũng trình bày một số kết quả thú vị cho thấy việc đào tạo các mạng thần kinh tái phát với SGD có thể thực hiện tốt hoặc tốt hơn các phương pháp phức tạp hơn, như thuật toán không có Hessian của Martens, sử dụng khởi tạo tốt và phương trình thay đổi một chút cho động lượng.
• Trình tự động đệ quy : Cuối cùng tôi sẽ đề cập đến công việc của Richard Socher về việc sử dụng trình tự động đệ quy để phân tích cú pháp. Mặc dù đây không phải là chuỗi thời gian, nhưng nó chắc chắn có liên quan.

Có, học sâu có thể được áp dụng cho các dự đoán chuỗi thời gian. Trong thực tế, nó đã được thực hiện nhiều lần rồi, ví dụ:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

Đây thực sự không phải là "trường hợp đặc biệt", học sâu chủ yếu là về phương pháp tiền xử lý (dựa trên mô hình tổng quát), vì vậy bạn phải tập trung vào chính xác những điều bạn tập trung vào khi bạn học sâu theo "nghĩa truyền thống" trên một và những điều tương tự bạn tập trung vào trong khi thực hiện dự đoán chuỗi thời gian mà không cần học sâu.

Mạng thần kinh tái phát được coi là một loại Deep Learning (DL). Tôi nghĩ rằng chúng là công cụ DL phổ biến nhất cho (1d) học theo trình tự. Chúng hiện đang là nền tảng của các phương pháp dịch máy thần kinh (NMT) (tiên phong năm 2014 tại LISA (UdeM), Google và có lẽ là một vài thứ khác mà tôi không nhớ).

Các trình tự tạo của Alex Graves với Mạng thần kinh tái phát sử dụng các mạng lặp lại và Bộ nhớ ngắn hạn Các tế bào để dự đoán văn bản và thực hiện tổng hợp chữ viết tay.

Andrej Karpathy đã viết một blog về việc tạo ra các chuỗi cấp độ nhân vật từ đầu. Ông sử dụng RNNs trong hướng dẫn của mình.

Để biết thêm ví dụ, bạn nên xem tại- Hochreiter, S., & Schmidhuber, J. (1997). Trí nhớ ngắn hạn. Tính toán thần kinh, 9 (8), 1735-1780.

Có thể điều này sẽ giúp:

• I. Sutskever, O. Vinyals và QV V Le, Phần trình tự học theo trình tự với các mạng thần kinh, Nhận xét về những tiến bộ trong hệ thống xử lý thông tin thần kinh, 2014, trang 3104 phản3112.

Nếu bạn có định nghĩa cho cửa sổ thời gian chính xác của mình trên dữ liệu như câu trong bài viết hoặc đoạn này thì bạn sẽ ổn khi sử dụng LSTM, nhưng tôi không chắc làm thế nào để tìm cửa sổ thời gian không rõ ràng và nhận biết nhiều ngữ cảnh hơn. Một ví dụ cho điều đó có thể là có bao nhiêu dữ liệu nhật ký bạn đang thấy có liên quan và đó không phải là điều gì đó rõ ràng.