Ý nghĩa của nhóm Số lượng đơn vị trong tế bào LSTM là gì?


19

Từ mã Tensorflow : Tensorflow. RnnCell.

num_units: int, The number of units in the LSTM cell.

Không thể hủy bỏ điều này có nghĩa là gì. Các đơn vị của tế bào LSTM là gì. Cổng đầu vào, đầu ra và quên? Điều này có nghĩa là "số lượng đơn vị trong lớp chiếu lặp lại cho Deep LSTM". Vậy thì tại sao cái này được gọi là "số đơn vị trong ô LSTM"? Ô LSTM là gì và khối VS LSTM khác nhau là gì, đơn vị LSTM tối thiểu là gì nếu không phải là ô?



Nếu lớp chứa nhiều đơn vị LSTM song song, làm thế nào nó xử lý đầu vào x? trường hợp 1: h (1) = f (x) h (t) = f (h (t - 1), x) h (t + 1) = f (h (t), x) trường hợp 2: h (1 ) = f (x) h (t) = h (t-1) Có thể có trường hợp khác như ResNet.
user1908842

Câu trả lời:


10

Như các ý kiến ​​hữu ích trong chức năng đó nói,

Định nghĩa của ô trong gói này khác với định nghĩa được sử dụng trong tài liệu. Trong tài liệu, ô đề cập đến một đối tượng có đầu ra vô hướng. Định nghĩa trong gói này đề cập đến một mảng ngang của các đơn vị như vậy.

Về bản chất, lớp này sẽ chứa nhiều đơn vị LSTM song song, có cấu trúc giống hệt nhau nhưng cuối cùng mỗi người lại "học cách nhớ" một số điều khác nhau.


1
Cảm ơn :) Nhận xét đó đã được thêm 7 ngày trước, sau câu hỏi này. Sau khi đào bới, tôi đã hỏi nhóm Tensorflow trong nhóm Google tại sao họ định nghĩa tế bào LSTM khác với tế bào LSTM văn học .. và họ đã thêm nhận xét đó :)
Brans Ds

6

Hầu hết các sơ đồ LSTM / RNN chỉ hiển thị các ô ẩn nhưng không bao giờ là đơn vị của các ô đó. Do đó, sự nhầm lẫn. Mỗi lớp ẩn có các ô ẩn, bao nhiêu số bước thời gian. Và hơn nữa, mỗi ô ẩn được tạo thành từ nhiều đơn vị ẩn, như trong sơ đồ bên dưới. Do đó, thứ nguyên của ma trận lớp ẩn trong RNN là (số bước thời gian, số đơn vị ẩn).

nhập mô tả hình ảnh ở đây


1

Trong Keras, nằm trên đỉnh của TensorFlow hoặc Theano, khi bạn gọi model.add(LSTM(num_units)), num_units là thứ nguyên của không gian đầu ra (từ đây , dòng 863). Đối với tôi, điều đó có nghĩa num_unitslà số lượng các đơn vị ẩn có kích hoạt được gửi tới bước tiếp theo.


0

Số lượng đơn vị trong RNN là số đơn vị bộ nhớ RNN cho mỗi đầu vào của chuỗi theo cách dọc được gắn với nhau và mỗi đơn vị sẽ chuyển thông tin được lọc sang các đơn vị bộ nhớ tiếp theo.

Hãy nhớ khái niệm này được lấy cảm hứng từ khái niệm khoa học máy tính về dòng phân bổ bộ nhớ đến các đơn vị khác nhau kích thước bit.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.