Tôi đang tự hỏi trong những tình huống nào là thuận lợi để xếp LSTM?
Câu trả lời:
Từ những lợi thế của việc xếp chồng nhiều LSTM là gì? (Tôi sẽ chỉ cập nhật câu trả lời ở đó):
Từ 1}:
Mặc dù về mặt lý thuyết không rõ ràng sức mạnh bổ sung có được từ kiến trúc sâu hơn là gì, nhưng theo quan sát thực tế, RNN sâu hoạt động tốt hơn so với những người nông hơn trong một số nhiệm vụ. Cụ thể, Sutskever et al (2014) báo cáo rằng kiến trúc sâu 4 lớp rất quan trọng trong việc đạt được hiệu suất dịch máy tốt trong khung giải mã bộ mã hóa. Irsoy và Cardie (2014) cũng báo cáo kết quả được cải thiện từ việc chuyển từ BI-RNN một lớp sang kiến trúc với nhiều lớp. Nhiều công trình khác báo cáo kết quả bằng cách sử dụng kiến trúc RNN phân lớp, nhưng không so sánh rõ ràng với RNN 1 lớp.
Người giới thiệu:
- {1} Goldberg, Yoav. "Một mồi cho các mô hình mạng thần kinh để xử lý ngôn ngữ tự nhiên." J. Artif. Intell. Res. (JAIR) 57 (2016): 345-420. https://scholar.google.com/scholar?cluster=3704132192758179278&hl=vi&as_sdt=0,5 ; http://u.cs.biu.ac.il/~yogo/nnlp.pdf
Một tình huống thuận lợi để xếp các LSTM là khi chúng ta muốn tìm hiểu biểu diễn phân cấp của dữ liệu chuỗi thời gian của mình. Trong các LSTM xếp chồng, mỗi lớp LSTM tạo ra một chuỗi các vectơ sẽ được sử dụng làm đầu vào cho lớp LSTM tiếp theo. Hệ thống phân cấp các lớp ẩn này cho phép biểu diễn dữ liệu chuỗi thời gian phức tạp hơn của chúng tôi, thu thập thông tin ở các tỷ lệ khác nhau.
Ví dụ, các LSTM xếp chồng có thể được sử dụng để cải thiện độ chính xác trong phân loại chuỗi thời gian, chẳng hạn như dự đoán hoạt động, trong đó nhịp tim, đếm bước, GPS và các tín hiệu khác có thể được sử dụng để dự đoán hoạt động như đi bộ, chạy, đạp xe, leo cầu thang hoặc nghỉ ngơi. Để biết ví dụ về phân loại chuỗi thời gian với các LSTM xếp chồng sử dụng dữ liệu EEG, hãy xem sổ ghi chép ipython sau đây .
Theo mô hình chuỗi theo trình tự: Công việc của mạng bộ mã hóa là đọc chuỗi đầu vào cho mô hình Seq2Seq của chúng tôi và tạo ra một vectơ ngữ cảnh C chiều cố định cho chuỗi. Để làm như vậy, bộ mã hóa sẽ sử dụng một tế bào mạng thần kinh tái phát - thường là LSTM - để đọc mã thông báo đầu vào một lần. Trạng thái ẩn cuối cùng của ô sẽ trở thành C. Tuy nhiên, vì rất khó để nén một chuỗi có độ dài tùy ý vào một vectơ có kích thước cố định duy nhất (đặc biệt đối với các tác vụ khó như dịch), bộ mã hóa thường sẽ bao gồm các LSTM xếp chồng : một loạt các "lớp" LSTM trong đó các đầu ra của mỗi lớp là chuỗi đầu vào của lớp tiếp theo. Trạng thái ẩn LSTM của lớp cuối cùng sẽ được sử dụng làm vectơ bối cảnh.