Huấn luyện một RNN với các ví dụ về độ dài khác nhau trong Keras

Tôi đang cố gắng bắt đầu tìm hiểu về RNN và tôi đang sử dụng Keras. Tôi hiểu tiền đề cơ bản của các lớp RNN và LSTM của vani, nhưng tôi gặp khó khăn trong việc hiểu một điểm kỹ thuật nhất định để đào tạo.

Trong tài liệu về máy ảnh , nó cho biết đầu vào của lớp RNN phải có hình dạng (batch_size, timesteps, input_dim). Điều này cho thấy rằng tất cả các ví dụ đào tạo có độ dài trình tự cố định, cụ thể là timesteps.

Nhưng điều này không phải là đặc biệt điển hình, phải không? Tôi có thể muốn RNN hoạt động trên các câu có độ dài khác nhau. Khi tôi huấn luyện nó trên một số kho văn bản, tôi sẽ cho nó ăn hàng loạt câu, tất cả các độ dài khác nhau.

Tôi cho rằng điều rõ ràng cần làm là tìm độ dài tối đa của bất kỳ chuỗi nào trong tập huấn luyện và không đệm nó. Nhưng điều đó có nghĩa là tôi không thể đưa ra dự đoán tại thời điểm thử nghiệm với độ dài đầu vào lớn hơn thế?

Đây là một câu hỏi về việc triển khai cụ thể của Keras, tôi cho rằng, nhưng tôi cũng đang hỏi mọi người thường làm gì khi phải đối mặt với loại vấn đề này nói chung.

Điều này cho thấy rằng tất cả các ví dụ đào tạo có độ dài trình tự cố định, cụ thể là timesteps.

Điều đó không hoàn toàn chính xác, vì kích thước đó có thể None, tức là chiều dài thay đổi. Trong một lô duy nhất , bạn phải có cùng số dấu thời gian (đây thường là nơi bạn thấy 0-padding và masking). Nhưng giữa các đợt không có hạn chế như vậy. Trong quá trình suy luận, bạn có thể có bất kỳ chiều dài.

Mã ví dụ tạo ra các lô dữ liệu đào tạo thời gian ngẫu nhiên.

from keras.models import Sequential
from keras.layers import LSTM, Dense, TimeDistributed
from keras.utils import to_categorical
import numpy as np

model = Sequential()

model.add(LSTM(32, return_sequences=True, input_shape=(None, 5)))
model.add(LSTM(8, return_sequences=True))
model.add(TimeDistributed(Dense(2, activation='sigmoid')))

print(model.summary(90))

model.compile(loss='categorical_crossentropy',
              optimizer='adam')

def train_generator():
    while True:
        sequence_length = np.random.randint(10, 100)
        x_train = np.random.random((1000, sequence_length, 5))
        # y_train will depend on past 5 timesteps of x
        y_train = x_train[:, :, 0]
        for i in range(1, 5):
            y_train[:, i:] += x_train[:, :-i, i]
        y_train = to_categorical(y_train > 2.5)
        yield x_train, y_train

model.fit_generator(train_generator(), steps_per_epoch=30, epochs=10, verbose=1)

Và đây là những gì nó in. Lưu ý các hình dạng đầu ra đang (None, None, x)chỉ ra kích thước lô thay đổi và kích thước dấu thời gian thay đổi.

__________________________________________________________________________________________
Layer (type)                            Output Shape                        Param #
==========================================================================================
lstm_1 (LSTM)                           (None, None, 32)                    4864
__________________________________________________________________________________________
lstm_2 (LSTM)                           (None, None, 8)                     1312
__________________________________________________________________________________________
time_distributed_1 (TimeDistributed)    (None, None, 2)                     18
==========================================================================================
Total params: 6,194
Trainable params: 6,194
Non-trainable params: 0
__________________________________________________________________________________________
Epoch 1/10
30/30 [==============================] - 6s 201ms/step - loss: 0.6913
Epoch 2/10
30/30 [==============================] - 4s 137ms/step - loss: 0.6738
...
Epoch 9/10
30/30 [==============================] - 4s 136ms/step - loss: 0.1643
Epoch 10/10
30/30 [==============================] - 4s 142ms/step - loss: 0.1441

@kbrose dường như có một giải pháp tốt hơn

Tôi cho rằng điều rõ ràng cần làm là tìm độ dài tối đa của bất kỳ chuỗi nào trong tập huấn luyện và không đệm nó.

Đây thường là một giải pháp tốt. Có thể thử độ dài tối đa của chuỗi + 100. Sử dụng bất cứ thứ gì hoạt động tốt nhất cho ứng dụng của bạn.

Nhưng điều đó có nghĩa là tôi không thể đưa ra dự đoán tại thời điểm thử nghiệm với độ dài đầu vào lớn hơn thế?

Không cần thiết. Lý do độ dài cố định được sử dụng trong máy ảnh, là vì nó cải thiện đáng kể hiệu suất bằng cách tạo ra các tenxơ có hình dạng cố định. Nhưng đó chỉ là để đào tạo. Sau khi đào tạo, bạn sẽ học được các trọng số phù hợp cho nhiệm vụ của mình.

Giả sử, sau khi đào tạo hàng giờ, bạn nhận ra chiều dài tối đa của mô hình của bạn không đủ lớn / nhỏ và bây giờ bạn cần thay đổi các bước thời gian, chỉ cần trích xuất các trọng số đã học từ mô hình cũ, xây dựng mô hình mới với các bước thời gian mới và tiêm trọng lượng đã học vào nó.

Bạn có thể có thể làm điều này bằng cách sử dụng một cái gì đó như:

new_model.set_weights(old_model.get_weights())

Tôi đã không thử bản thân mình. Hãy thử nó và gửi kết quả của bạn ở đây vì lợi ích của mọi người. Đây là một số liên kết: một hai