LSTM, BiLSTM là gì và khi nào sử dụng chúng?

Tôi rất mới với Deep learning và tôi đặc biệt quan tâm đến việc biết LSTM và BiLSTM là gì và khi nào nên sử dụng chúng (lĩnh vực ứng dụng chính). Tại sao LSTM và BILSTM phổ biến hơn RNN?

Chúng ta có thể sử dụng những kiến ​​trúc học sâu này trong các vấn đề không được giám sát không?

RNNCác kiến ​​trúc thích LSTMvà BiLSTMđược sử dụng trong các trường hợp vấn đề học tập là tuần tự, ví dụ: bạn có một video và bạn muốn biết đó là gì hoặc bạn muốn một tác nhân đọc một dòng tài liệu cho bạn, đó là hình ảnh của văn bản và là không ở định dạng văn bản. Tôi rất khuyến khích bạn hãy xem ở đây .

LSTMsvà các biến thể hai chiều của chúng rất phổ biến vì chúng đã cố gắng học cách và khi nào nên quên và khi nào không sử dụng cổng trong kiến ​​trúc của chúng. Trong các RNNkiến trúc trước đây , độ dốc biến mất là một vấn đề lớn và khiến những mạng đó không học được nhiều.

Sử dụng hai chiều LSTMs, bạn cung cấp thuật toán học với dữ liệu gốc một lần từ đầu đến cuối và một lần từ đầu đến cuối. Có những cuộc tranh luận ở đây nhưng nó thường học nhanh hơn cách tiếp cận một chiều mặc dù nó phụ thuộc vào nhiệm vụ.

Có, bạn có thể sử dụng chúng trong học tập không giám sát quá tùy thuộc vào nhiệm vụ của bạn. hãy nhìn vào đây và ở đây .

Con người không bắt đầu suy nghĩ từ đầu mỗi giây. Khi bạn đọc bài luận này, bạn hiểu từng từ dựa trên sự hiểu biết của bạn về các từ trước đó. Bạn không vứt bỏ mọi thứ và bắt đầu suy nghĩ lại từ đầu. Suy nghĩ của bạn có sự kiên trì.

Mạng lưới thần kinh truyền thống không thể làm điều này, và nó có vẻ như là một thiếu sót lớn. Ví dụ, hãy tưởng tượng bạn muốn phân loại loại sự kiện nào đang diễn ra tại mọi thời điểm trong phim. Không rõ làm thế nào một mạng lưới thần kinh truyền thống có thể sử dụng lý lẽ của nó về các sự kiện trước đó trong phim để thông báo cho những sự kiện sau này.

Mạng thần kinh tái phát giải quyết vấn đề này. Chúng là các mạng có các vòng lặp trong đó, cho phép thông tin tồn tại.

Để đọc thêm, hãy đến Blog của Cohen

So với LSTM, BLSTMhoặc BiLSTMcó hai mạng, truy cập một pastthông tin trong forwardchỉ đạo, điều khác truy cập futuretrong reversehướng. WIKI

Một lớp mới Bidirectionalđược thêm vào theo tài liệu chính thức ở đây :

model = Sequential()
model.add(Bidirectional(LSTM(num_channels, 
        implementation = 2, recurrent_activation = 'sigmoid'),
        input_shape=(input_length, input_dim)))

Ví dụ hoàn chỉnh sử dụng dữ liệu IMDB sẽ như thế này