Làm thế nào để tôi cải thiện sự ổn định mạng thần kinh của tôi?

Tôi đang sử dụng mạng nơ ron trong R để xây dựng NN với 14 đầu vào và một đầu ra. Tôi xây dựng / huấn luyện mạng nhiều lần bằng cùng một dữ liệu đào tạo đầu vào và cùng một cài đặt / kiến ​​trúc mạng.

Sau khi mỗi mạng được tạo ra, tôi sử dụng nó trên một tập hợp dữ liệu thử nghiệm độc lập để tính toán một số giá trị dự đoán. Tôi thấy có một sự khác biệt lớn trong mỗi lần lặp của dữ liệu dự đoán, mặc dù tất cả các đầu vào (cả dữ liệu huấn luyện và dữ liệu kiểm tra) vẫn giữ nguyên mỗi lần tôi xây dựng mạng.

Tôi hiểu rằng sẽ có sự khác biệt về trọng số được tạo ra trong NN mỗi lần và rằng không có hai mạng thần kinh nào giống nhau, nhưng tôi có thể cố gắng tạo ra các mạng phù hợp hơn trên mỗi chuyến tàu, với dữ liệu giống hệt nhau?

Nói chung, bạn sẽ có được sự ổn định hơn bằng cách tăng số lượng các nút ẩn và sử dụng phân rã trọng lượng thích hợp (còn gọi là hình phạt sườn núi).

Cụ thể, tôi sẽ khuyên bạn sử dụng các caretgói để có được một sự hiểu biết tốt hơn về độ chính xác của bạn (và thậm chí sự không chắc chắn về độ chính xác của bạn.) Cũng trong dấu nháy là avNNetlàm cho một người học quần thể ra khỏi nhiều mạng thần kinh để giảm ảnh hưởng của những hạt giống đầu tiên. Cá nhân tôi chưa thấy cải thiện lớn bằng cách sử dụng avNNetnhưng nó có thể giải quyết câu hỏi ban đầu của bạn.

Tôi cũng chắc chắn rằng đầu vào của bạn đều được điều hòa đúng cách. Bạn đã trực giao và sau đó thu nhỏ lại chúng? Caret cũng có thể thực hiện việc xử lý trước này cho bạn thông qua pcaNNetchức năng của nó .

Cuối cùng, bạn có thể xem xét tung trong một số kết nối lớp bỏ qua. Bạn cần đảm bảo rằng không có điểm ngoại lệ / điểm đòn bẩy trong dữ liệu của bạn để làm lệch các kết nối đó.

Tôi chưa làm việc với R, vì vậy tôi chỉ có thể đưa ra những lời khuyên chung chung hơn.

Bạn đã kiểm tra xem thuật toán có hội tụ không? Một lời giải thích khả dĩ có thể là các bộ tham số khác nhau đều nằm ở một nửa đến cùng một mức tối ưu.

Nếu thuật toán luôn hội tụ nhưng đến một tối ưu cục bộ khác, thì có rất nhiều phương pháp phỏng đoán bạn có thể cố gắng tránh những thuật toán đó. Một chiến lược đơn giản khi sử dụng độ dốc dốc ngẫu nhiên (SGD) sẽ là sử dụng các lô nhỏ hơn và động lượng lớn hơn . Các kích cỡ lô nhỏ hơn có hiệu quả đưa một số tiếng ồn vào đào tạo có thể giúp thoát khỏi một số tối ưu cục bộ. Một chiến lược phức tạp hơn nhiều sẽ là khởi tạo các trọng số bằng cách sử dụng bộ tự động .