Tôi nên sử dụng bao nhiêu tế bào LSTM?


12

Có bất kỳ quy tắc nào (hoặc quy tắc thực tế) liên quan đến số lượng tế bào LSTM tối thiểu, tối đa và "hợp lý" mà tôi nên sử dụng không? Cụ thể tôi có liên quan đến BasicLSTMCell từ TensorFlow và num_unitstài sản.

Hãy giả sử rằng tôi có một vấn đề phân loại được xác định bởi:

t - number of time steps
n - length of input vector in each time step
m - length of output vector (number of classes)
i - number of training examples

Có đúng không, ví dụ, số lượng ví dụ đào tạo nên lớn hơn:

4*((n+1)*m + m*m)*c

nơi clà số lượng tế bào? Tôi dựa trên điều này: Làm thế nào để tính số lượng tham số của mạng LSTM? Theo tôi hiểu, điều này sẽ đưa ra tổng số tham số, nên ít hơn số lượng ví dụ đào tạo.

rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

1
Tôi sẽ xem bài viết này đề cập đến chủ đề so sánh các mô hình học sâu liên tiếp cũng như điều chỉnh siêu tham số: arxiv.org/pdf/1503.04069.pdf Tóm lại, họ đề xuất một cách rõ ràng, rằng tăng số lượng khối LSTM trên mỗi ẩn lớp cải thiện hiệu suất nhưng có lợi nhuận giảm dần & tăng thời gian đào tạo.
CubeBot88

Câu trả lời:


4

Số lượng ví dụ đào tạo tối thiểu là những gì bạn có trên đó:

4(nm+n2)

Để biết thêm thông tin tham khảo bài viết này: Tham khảo liên kết này nếu bạn cần một số trợ giúp trực quan: Số lượng tham số trong mô hình LSTM

Số lượng đơn vị trong mỗi lớp của ngăn xếp có thể khác nhau. Ví dụ: trong translate.py từ Tensorflow, nó có thể được cấu hình thành 1024, 512 hoặc hầu như bất kỳ số nào. Phạm vi tốt nhất có thể được tìm thấy thông qua xác nhận chéo. Nhưng tôi đã thấy cả 1000 và 500 số đơn vị trong mỗi lớp của ngăn xếp. Cá nhân tôi đã thử nghiệm với số lượng nhỏ hơn là tốt.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.