Ngăn chặn quá mức LSTM trên tập dữ liệu nhỏ

Tôi đang lập mô hình 15000 tweet để dự đoán tình cảm bằng cách sử dụng LSTM một lớp với 128 đơn vị ẩn bằng cách sử dụng biểu diễn giống như word2vec với 80 thứ nguyên. Tôi nhận được độ chính xác gốc (38% với ngẫu nhiên = 20%) sau 1 epoch. Đào tạo nhiều hơn làm cho độ chính xác xác nhận bắt đầu giảm khi độ chính xác đào tạo bắt đầu tăng lên - một dấu hiệu rõ ràng của việc quá mức.

Do đó, tôi đang nghĩ cách để thực hiện chính quy. Tôi không muốn giảm số lượng các đơn vị ẩn (128 có vẻ hơi thấp). Tôi hiện đang sử dụng bỏ học với xác suất 50%, nhưng điều này có lẽ có thể tăng lên. Trình tối ưu hóa là Adam với các tham số mặc định cho Keras ( http://keras.io/optimulators/#adam ).

Một số cách hiệu quả để giảm quá mức cho mô hình này trên tập dữ liệu của tôi là gì?

Bạn có thể thử:

• Giảm số lượng các đơn vị ẩn, tôi biết bạn đã nói rằng nó có vẻ thấp, nhưng với điều kiện là lớp đầu vào chỉ có 80 tính năng, thực sự có thể là 128 là quá nhiều. Một nguyên tắc nhỏ là có số lượng đơn vị ẩn nằm giữa số lượng đơn vị đầu vào (80) và các lớp đầu ra (5);
• Ngoài ra, bạn có thể tăng kích thước của không gian đại diện đầu vào lên hơn 80 (tuy nhiên điều này cũng có thể phù hợp nếu biểu diễn quá hẹp đối với bất kỳ từ nào).

Một cách tốt để phù hợp với một mạng là bắt đầu với một mạng quá mức và sau đó giảm dung lượng (các đơn vị ẩn và không gian nhúng) cho đến khi nó không còn mặc quần áo nữa.