Câu hỏi được gắn thẻ «lstm»

LSTM được phát minh đặc biệt để tránh vấn đề độ dốc biến mất. Nó được cho là làm điều đó với Carousel lỗi liên tục (CEC), trên sơ đồ bên dưới (từ Greff và cộng sự ) tương ứng với vòng lặp quanh ô . (nguồn: deeplearning4j.org ) Và …

35 neural-networks  lstm 

Tôi đã học LSTM được một thời gian. Tôi hiểu ở mức độ cao làm thế nào mọi thứ hoạt động. Tuy nhiên, việc triển khai chúng bằng cách sử dụng Tensorflow tôi nhận thấy rằng BasicLSTMCell yêu cầu một số tham số đơn vị (tức là num_units). Từ này …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Mất tập luyện của tôi đi xuống và sau đó lên một lần nữa. Nó rất kỳ lạ. Mất xác nhận chéo theo dõi tổn thất đào tạo. Chuyện gì đang xảy ra vậy? Tôi có hai LSTMS xếp chồng như sau (trên Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), …

26 machine-learning  neural-networks  loss-functions  lstm 

Những lợi thế là gì, tại sao một người sẽ sử dụng nhiều LSTM, xếp cạnh nhau, trong một mạng lưới sâu? Tôi đang sử dụng LSTM để thể hiện một chuỗi các đầu vào dưới dạng một đầu vào. Vì vậy, một khi tôi có đại diện duy nhất …

25 classification  neural-networks  deep-learning  lstm  rnn 

Các cơ chế chú ý đã được sử dụng trong các bài viết Deep Learning khác nhau trong vài năm qua. Ilya Sutskever, người đứng đầu nghiên cứu tại Open AI, đã nhiệt tình khen ngợi họ: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello tại Đại học Purdue đã tuyên bố rằng RNN và …

23 time-series  deep-learning  lstm  rnn  attention 

Tôi đang cố gắng sử dụng ví dụ được mô tả trong tài liệu Keras có tên "LSTM xếp chồng để phân loại theo trình tự" (xem mã bên dưới) và không thể tìm ra input_shapetham số trong ngữ cảnh dữ liệu của tôi. Tôi có một ma trận gồm …

20 lstm  keras  shape  dimensions 

Gần đây tôi đã trở nên quan tâm đến các LSTM và tôi đã rất ngạc nhiên khi biết rằng các trọng số được chia sẻ theo thời gian. Tôi biết rằng nếu bạn chia sẻ các trọng số theo thời gian, thì chuỗi thời gian đầu vào của bạn …

20 machine-learning  lstm  rnn 

Tôi đang cố gắng hiểu các kiến ​​trúc mạng thần kinh tái phát (RNN) khác nhau được áp dụng cho dữ liệu chuỗi thời gian và tôi hơi bối rối với các tên khác nhau thường được sử dụng khi mô tả RNN. Là cấu trúc của bộ nhớ ngắn …

19 neural-networks  lstm  rnn 

Tôi đã sử dụng theano để thử nghiệm các LSTM và đang tự hỏi phương pháp tối ưu hóa nào (SGD, Adagrad, Adadelta, RMSprop, Adam, v.v.) hoạt động tốt nhất cho các LSTM? Có bất kỳ tài liệu nghiên cứu về chủ đề này? Ngoài ra, câu trả lời có …

19 machine-learning  neural-networks  optimization  lstm 

Tôi có vấn đề rất đơn giản nhưng tôi không thể tìm thấy một công cụ phù hợp để giải quyết nó. Tôi có một số chuỗi các vectơ có cùng độ dài. Bây giờ tôi muốn huấn luyện LSTM RNN trên mẫu đào tạo các chuỗi này và sau …

19 neural-networks  python  lstm 

Tôi đang xem qua blog sau đây trên mạng thần kinh LSTM: http://machinelearningmastery.com/under Hiểu-stateful-lstm-recản-neural-networks-python-kasas / Tác giả định hình lại vectơ đầu vào X là [mẫu, bước thời gian, tính năng] cho cấu hình khác nhau của LSTM. Tác giả viết Thật vậy, các chuỗi chữ cái là các bước …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Tôi đang xem xét sử dụng phiên bản LSTM ( bộ nhớ ngắn hạn ) của mạng thần kinh tái phát (RNN) để mô hình hóa dữ liệu thời gian. Khi độ dài chuỗi của dữ liệu tăng, độ phức tạp của mạng tăng lên. Do đó, tôi tò mò …

15 neural-networks  deep-learning  lstm 

Tôi đang cố gắng tìm hiểu ứng dụng RNNs cấp cao để ghi nhãn theo trình tự thông qua (trong số những người khác) bài viết năm 2005 của Graves về phân loại âm vị. Để tóm tắt vấn đề: Chúng tôi có một bộ huấn luyện lớn bao gồm …

15 lstm  rnn 

Tôi đang lập mô hình 15000 tweet để dự đoán tình cảm bằng cách sử dụng LSTM một lớp với 128 đơn vị ẩn bằng cách sử dụng biểu diễn giống như word2vec với 80 thứ nguyên. Tôi nhận được độ chính xác gốc (38% với ngẫu nhiên = 20%) …

13 deep-learning  regularization  overfitting  lstm 

Tôi đang sử dụng mạng lstm và chuyển tiếp nguồn cấp dữ liệu để phân loại văn bản. Tôi chuyển đổi văn bản thành các vectơ một nóng và đưa từng văn bản vào lstm để tôi có thể tóm tắt nó dưới dạng một đại diện duy nhất. Sau …

13 classification  neural-networks  deep-learning  lstm