Điều gì còn thiếu trong quá trình triển khai Chương trình giảng dạy sau đây trong Mạng lưới thần kinh sâu?

Trước hết chúng tôi có một nhiệm vụ phân loại.
Vì vậy, chúng tôi sử dụng entropy chéo mềm điển hình để phân loại.

Hiện nay thực hiện chương trình học tập như sau.

• Đầu tiên chúng tôi đào tạo phiên bản tốt nhất của chúng tôi về mạng lưới thần kinh
• Ở kỷ nguyên cuối cùng, chúng ta có tất cả các entropies chéo cho tất cả các trường hợp. Vì vậy, entropies chéo nhỏ hơn được phân loại tốt hơn và những cái lớn hơn không tốt.
• Sau đó, chúng tôi sắp xếp các trường hợp dựa trên các entropies chéo.
• Sau đó, chúng tôi bắt đầu đào tạo các trường hợp từ dễ hơn đến khó hơn như lý thuyết học tập chương trình cho thấy

Lưu ý rằng chúng tôi đã thử nghiệm các bước và lặp lại khác nhau. Vì vậy, trong một ví dụ, chúng tôi đã lấy 200 đợt đầu tiên và huấn luyện chúng hai lần trước khi chuyển sang đợt tiếp theo và cứ thế cho đến khi một kỷ nguyên được hoàn thành.
Trong một ví dụ khác, chúng tôi đã thực hiện 10 đợt đầu tiên và chỉ huấn luyện chúng một lần và sau đó là 10 đợt tiếp theo và 10 đợt tiếp theo, cho đến khi kết thúc kỷ nguyên.

Tất cả các thí nghiệm cho đến nay đã kết luận rằng mạng lưới thần kinh có độ chính xác tương đối ổn ngay từ đầu và điều này trở nên tồi tệ hơn khi các trường hợp khó khăn hơn xuất hiện. Độ chính xác cuối cùng kém hơn nhiều so với dự kiến ​​và ngoài ra độ chính xác tối đa vẫn còn khá tệ.

Tại sao chương trình học này không hoạt động? Có thiếu gì không?

Bạn cần nhiều thông tin hơn để tìm hiểu những gì đang diễn ra ở đây. Một số khả năng bao gồm:

• Ví dụ "khó" của bạn thực sự không thể học được. Bạn có thể kiểm tra điều này bằng cách xem liệu bạn có thể tối thiểu vượt qua các ví dụ cứng hay không, và nếu bạn là một con người có thể gắn nhãn các ví dụ cứng một cách chính xác.

• Mạng của bạn không đủ lớn để học các ví dụ khó. Đó là, bạn chắc chắn rằng các ví dụ khó có thể học được, chỉ là mạng không đủ phức tạp để làm điều đó. Một lần nữa, bạn có thể kiểm tra điều này bằng cách xem nếu bạn là một con người có thể tìm ra các nhãn chính xác cho các trường hợp cứng.

• Chương trình học của bạn thực sự có thể bị tổn thương là đào tạo. Khi kết thúc đào tạo, mạng của bạn chỉ nhìn thấy các ví dụ mà nó gặp rắc rối nhất. Những ví dụ này sẽ gây ra những thay đổi lớn nhất trong mạng và bạn có thể có sự bùng nổ gradient ngắn hạn. Bạn có thể kiểm tra xem điều này có xảy ra hay không bằng cách xem liệu bạn có đang đạt hiệu suất kém hơn đáng kể đối với các ví dụ "dễ dàng" khi kết thúc đào tạo về các ví dụ khó. Một giải pháp ở đây có thể là một cái gì đó như từ từ mở rộng tập huấn sau khi bạn sắp xếp theo độ khó. Vậy