Mạng lưới thần kinh quá phù hợp

Tôi đã học được rằng sự phù hợp quá mức có thể được phát hiện bằng cách vẽ lỗi đào tạo và lỗi kiểm tra so với các kỷ nguyên. Giống như trong:

nhập mô tả hình ảnh ở đây

Tôi đã đọc blogpost này nơi họ nói rằng mạng lưới thần kinh, net5 quá phù hợp và họ cung cấp con số này:

nhập mô tả hình ảnh ở đây

Điều này là lạ đối với tôi, vì lỗi xác thực và đào tạo của net5 liên tục giảm (nhưng chậm).

Tại sao họ sẽ tuyên bố nó là phù hợp hơn? Có phải vì lỗi xác nhận bị đình trệ?

neural-networks overfitting

— Olivier_s_j
nguồn

Quá mức không chỉ khi lỗi kiểm tra tăng khi lặp lại. Chúng tôi nói rằng có quá mức khi hiệu suất trên bộ thử nghiệm thấp hơn nhiều so với hiệu suất trên bộ tàu (vì mô hình phù hợp với quá nhiều dữ liệu nhìn thấy và không khái quát tốt).

Trong cốt truyện thứ hai của bạn, chúng ta có thể thấy rằng các màn trình diễn trên các bộ thử nghiệm thấp hơn gần 10 lần so với các màn trình diễn trên các bộ xe lửa, có thể được coi là quá mức.

Hầu như luôn luôn là trường hợp một mô hình hoạt động tốt hơn trên tập huấn luyện so với tập kiểm tra, vì mô hình đã nhìn thấy dữ liệu. Tuy nhiên, một mô hình tốt sẽ có thể khái quát tốt về dữ liệu chưa xem, và sau đó để giảm khoảng cách giữa các màn trình diễn trên tàu và bộ thử nghiệm.

Ví dụ đầu tiên của bạn về quá mức có thể được giải quyết bằng cách dừng sớm chẳng hạn. Ví dụ thứ hai của bạn có thể được giải quyết bằng cách chính quy hóa, bằng cách làm hỏng đầu vào, v.v.

— jpl
nguồn

Tại sao quá mức là xấu trong trường hợp đó? Chúng ta có thể thấy nó hoạt động tốt hơn trên bộ thử nghiệm để khái quát tốt hơn phải không?

— Fractale

@Fractale Có nhiều khía cạnh khác để xem xét ngoài bước đào tạo. Ví dụ, một bộ siêu đường kính khác có thể dẫn đến lỗi kiểm tra tốt hơn và lỗi đào tạo tồi tệ hơn (chính quy hóa mạnh hơn). Do đó, một cấu hình như vậy sẽ dẫn đến ít quá mức. "Kết thúc" -fending luôn ngụ ý so sánh. Thay đổi một cái gì đó dẫn đến lỗi đào tạo tốt hơn đáng kể nhưng lỗi kiểm tra tốt hơn hoặc không tốt hơn đáng kể là quá mức các ví dụ đào tạo, so với cài đặt ban đầu. "Thay đổi" có thể là bất cứ điều gì: số lần lặp đào tạo, hyperparams, v.v.

— isarandi