Cách tốt nhất để khởi tạo trạng thái LSTM

Tôi đã tự hỏi đâu là cách tốt nhất để khởi tạo trạng thái cho các LSTM. Hiện tại tôi chỉ khởi tạo nó cho tất cả các số không. Tôi thực sự không thể tìm thấy bất cứ điều gì trực tuyến về cách khởi tạo nó. Một điều tôi đã nghĩ làm là làm cho trạng thái ban đầu trở thành một tham số có thể huấn luyện. Có lời khuyên nào không?

Thông thường, bạn sẽ đặt các trạng thái ban đầu thành 0, nhưng mạng sẽ học cách thích nghi với trạng thái ban đầu đó.

Các bài viết sau đây cho thấy học bang ẩn ban đầu hoặc sử dụng tiếng ồn ngẫu nhiên.

Về cơ bản, nếu dữ liệu của bạn bao gồm nhiều chuỗi ngắn, thì việc đào tạo trạng thái ban đầu có thể tăng tốc học tập.

Ngoài ra, nếu dữ liệu của bạn bao gồm một số lượng nhỏ các chuỗi dài thì có thể không có đủ dữ liệu để huấn luyện hiệu quả trạng thái ban đầu. Trong trường hợp đó sử dụng trạng thái ban đầu ồn ào có thể tăng tốc học tập. Một ý tưởng mà họ không đề cập đến là tìm hiểu ý nghĩa và tiêu chuẩn của bộ tạo tiếng ồn.

Bài viết lưu ý rằng nếu bạn chọn tìm hiểu trạng thái ban đầu, thì việc thêm tiếng ồn sẽ ít có lợi.