Làm thế nào có thể mất xác thực đang tăng trong khi độ chính xác xác nhận cũng tăng

Tôi đang đào tạo một mạng lưới thần kinh đơn giản trên bộ dữ liệu CIFAR10. Sau một thời gian, mất xác nhận bắt đầu tăng, trong khi độ chính xác xác nhận cũng tăng. Mất kiểm tra và độ chính xác kiểm tra tiếp tục cải thiện.

Sao có thể như thế được? Có vẻ như nếu mất xác nhận tăng, độ chính xác sẽ giảm.

PS Có một số câu hỏi tương tự, nhưng không ai giải thích những gì đang xảy ra ở đó.

Dựa trên câu trả lời của Ankur và bình luận bên dưới nó, tôi nghĩ kịch bản sau đây là có thể, trong khi tôi không có bằng chứng nào về nó. Hai hiện tượng có thể xảy ra cùng một lúc:

1. Một số ví dụ với dự đoán đường biên được dự đoán tốt hơn và do đó, lớp đầu ra của chúng thay đổi (ví dụ hình ảnh con mèo được dự đoán là 0,4 là con mèo và 0,6 là con ngựa được dự đoán là 0,4 là ngựa và 0,6 là mèo). Nhờ điều này, độ chính xác tăng lên trong khi mất mát giảm.

2. Một số ví dụ với dự đoán rất tệ cứ trở nên tồi tệ hơn (ví dụ hình ảnh con mèo được dự đoán là 0,8 sẽ là con ngựa được dự đoán là 0,9 là con ngựa) VÀ / HOẶC (có thể xảy ra hơn, đặc biệt là cho nhiều lớp?) Một số ví dụ rất tốt dự đoán trở nên tồi tệ hơn một chút (ví dụ hình ảnh con mèo được dự đoán là 0,9 là con mèo được dự đoán là 0,8 là con mèo). Với hiện tượng này, tổn thất tăng lên trong khi độ chính xác vẫn giữ nguyên.

Vì vậy, nếu hiện tượng 2 xảy ra tại một số điểm, trên nhiều ví dụ (ví dụ: đối với một lớp cụ thể không được hiểu rõ vì một số lý do) và / hoặc với mức tăng giảm mạnh hơn mức giảm mất bạn đạt được từ 1., thì bạn có thể tìm thấy chính mình trong kịch bản của bạn.
Một lần nữa, có thể đây không phải là điều đang xảy ra, nhưng tôi nghĩ rằng việc có thể đưa ra các kịch bản như vậy phải nhắc nhở chúng ta về mối quan hệ đôi khi trơn trượt giữa mất mát (entropy chéo) và độ chính xác.

Độ chính xác của một bộ được đánh giá bằng cách chỉ kiểm tra chéo đầu ra softmax cao nhất và lớp được dán nhãn chính xác. Nó không phụ thuộc vào mức độ cao của đầu ra softmax. Để làm cho nó rõ ràng hơn, đây là một số con số.

Giả sử có 3 lớp - chó, mèo và ngựa. Đối với trường hợp của chúng tôi, lớp chính xác là ngựa . Bây giờ, đầu ra của softmax là [0,9, 0,1]. Đối với mất mát này ~ 0,37. Phân loại sẽ dự đoán rằng đó là một con ngựa. Lấy một trường hợp khác trong đó đầu ra softmax là [0,6, 0,4]. Mất ~ 0,6. Phân loại vẫn sẽ dự đoán rằng đó là một con ngựa. Nhưng chắc chắn, sự mất mát đã tăng lên. Vì vậy, nó là tất cả về phân phối đầu ra.

Từ câu trả lời của Ankur, dường như với tôi rằng:

$\frac{correct-classes}{total-classes}$

trong khi

$less$

Vì thế...

Độ chính xác xác thực cao + Điểm mất mát cao so với độ chính xác đào tạo cao + Điểm tổn thất thấp cho thấy mô hình có thể quá phù hợp với dữ liệu đào tạo.

Nhiều câu trả lời tập trung vào tính toán toán học giải thích điều này có thể như thế nào. Nhưng họ không giải thích tại sao nó trở nên như vậy. Và họ không thể đề xuất làm thế nào để đào sâu hơn để rõ ràng hơn.

Tôi có 3 giả thuyết. Và đề nghị một số thí nghiệm để xác minh chúng. Hy vọng nó có thể giúp giải thích vấn đề này.

1. Nhãn là ồn ào. So sánh các dự đoán sai giữa khi val_loss là tối thiểu và val_acc là tối đa. Kiểm tra xem các mẫu này được dán nhãn chính xác.
2. [Ít có khả năng] Mô hình không có đủ khía cạnh thông tin để chắc chắn. Thử nghiệm với các lớp ẩn ngày càng lớn hơn.
3. [Một phỏng đoán rất hoang dã] Đây là một trường hợp mà người mẫu ít chắc chắn hơn về những điều nhất định khi được đào tạo lâu hơn. Tình huống như vậy cũng xảy ra với con người. Khi ai đó bắt đầu học một kỹ thuật, anh ta được cho biết chính xác điều gì là tốt hay xấu, điều gì là chắc chắn (sự chắc chắn cao). Khi anh ta trải qua nhiều trường hợp và ví dụ, anh ta nhận ra đôi khi đường viền nhất định có thể bị mờ (ít chắc chắn hơn, mất cao hơn), mặc dù anh ta có thể đưa ra quyết định tốt hơn (chính xác hơn). Và cuối cùng anh ta có thể trở nên chắc chắn hơn khi trở thành bậc thầy sau khi trải qua một danh sách lớn các mẫu và rất nhiều thử nghiệm và sai sót (nhiều dữ liệu đào tạo hơn). Vì vậy, trong trường hợp này, tôi đề nghị thử nghiệm thêm tiếng ồn vào dữ liệu huấn luyện (không phải nhãn) có thể hữu ích.

Đừng tranh cãi về điều này nếu bạn không đồng ý với những giả thuyết này. Sẽ có ý nghĩa hơn khi đưa ra thử nghiệm để xác minh chúng, bất kể chứng minh chúng, hoặc chứng minh chúng sai.