Số lượng tham số trong mô hình LSTM

Một LSTM xếp chồng có bao nhiêu tham số? Số lượng tham số áp đặt giới hạn thấp hơn về số lượng ví dụ đào tạo cần thiết và cũng ảnh hưởng đến thời gian đào tạo. Do đó biết số lượng tham số là hữu ích cho các mô hình đào tạo sử dụng LSTM.

LSTM có một bộ 2 ma trận: U và W cho mỗi cổng (3). (.) Trong sơ đồ biểu thị phép nhân của các ma trận này với đầu vào $x$ và đầu ra $h$ .

• U có kích thước $n \times m$
• W có kích thước $n \times n$
• có một bộ các ma trận khác nhau cho mỗi trong số ba cổng (như $U_{forget}$ cho cổng quên, v.v.)
• có một tập hợp các ma trận này để cập nhật trạng thái ô S
• trên đầu các ma trận được đề cập, bạn cần đếm các thành kiến ​​(không có trong hình)

Do đó tổng # tham số = $4(nm+n^{2} + n)$

$m$$n$

Tuy nhiên, trong trường hợp LSTM của bạn bao gồm các vectơ sai lệch, ( ví dụ , đây là mặc định trong máy ảnh ), số sẽ trở thành:

Theo đó :

Cấu trúc tế bào LSTM

Phương trình LSTM

Nắm bắt phi tuyến tính

Nếu x_t đầu vào có kích thước n × 1 và có các ô nhớ d , thì kích thước của mỗi W và U ∗ là d × n và d × d resp. Kích thước của W sau đó sẽ là 4d × (n + d) . Lưu ý rằng mỗi một trong số các tế bào bộ nhớ dd có trọng lượng riêng của mình W * và U * , và rằng các giá trị tế bào bộ nhớ chỉ có thời gian được chia sẻ với các đơn vị LSTM khác là trong các sản phẩm với U * .

Cảm ơn Arun Mallya đã trình bày tuyệt vời.