Dừng sớm về mất xác nhận hoặc về độ chính xác?

Tôi hiện đang đào tạo một mạng lưới thần kinh và tôi không thể quyết định sử dụng để thực hiện các tiêu chí Dừng sớm của mình: mất xác thực hoặc số liệu như độ chính xác / F1score / auc / bất cứ điều gì được tính trên bộ xác thực.

Trong nghiên cứu của tôi, tôi đã phát hiện ra các bài báo bảo vệ cả hai quan điểm. Keras dường như mặc định mất xác nhận nhưng tôi cũng đã bắt gặp những câu trả lời thuyết phục cho cách tiếp cận ngược lại (ví dụ ở đây ).

Bất cứ ai cũng có hướng dẫn khi nào nên sử dụng tốt nhất là mất xác nhận và khi nào nên sử dụng một số liệu cụ thể?

TLDR; Theo dõi tổn thất thay vì độ chính xác

Tôi sẽ trả lời câu hỏi của riêng tôi vì tôi nghĩ rằng các câu trả lời nhận được đã bỏ lỡ vấn đề và ai đó có thể có cùng một vấn đề vào một ngày nào đó.

Trước tiên, hãy để tôi nhanh chóng làm rõ rằng việc sử dụng dừng sớm là hoàn toàn bình thường khi đào tạo mạng lưới thần kinh (xem các phần có liên quan trong cuốn sách Deep Learning của Goodfellow et al, hầu hết các tài liệu DL và tài liệu cho cuộc gọi lại EarlyStopping của máy ảnh).

Bây giờ, liên quan đến số lượng cần theo dõi: thích sự mất mát cho độ chính xác. Tại sao? Mất mát định lượng mức độ chắc chắn của mô hình về một dự đoán (về cơ bản có giá trị gần bằng 1 trong lớp bên phải và gần bằng 0 trong các lớp khác). Độ chính xác chỉ chiếm số lượng dự đoán chính xác. Tương tự, bất kỳ số liệu nào sử dụng dự đoán cứng thay vì xác suất đều có cùng một vấn đề.

Rõ ràng, bất kỳ số liệu nào bạn kết thúc chọn, nó phải được tính trên bộ xác thực và không phải là tập huấn luyện (nếu không, bạn hoàn toàn thiếu quan điểm sử dụng EarlyStopping ở vị trí đầu tiên)

Theo tôi, đây là chủ quan và vấn đề cụ thể. Bạn nên sử dụng bất cứ yếu tố nào là yếu tố quan trọng nhất trong tâm trí của bạn làm chỉ số lái xe, vì điều này có thể đưa ra quyết định của bạn về cách thay đổi mô hình tập trung tốt hơn.

$L_1$

Ví dụ: nếu bạn sẽ báo cáo điểm F1 trong báo cáo / cho sếp của bạn, v.v. (và giả sử đó là điều họ thực sự quan tâm), thì sử dụng số liệu đó có thể có ý nghĩa nhất. F1-score, ví dụ, có độ chính xác và thu hồi vào tài khoản tức là nó mô tả mối quan hệ giữa hai nhiều hạt mịn số liệu.

Kết hợp những thứ đó lại với nhau, điểm số tính toán khác với tổn thất thông thường có thể tốt cho tổng quan và để xem số liệu cuối cùng của bạn được tối ưu hóa như thế nào trong quá trình lặp lại đào tạo. Mối quan hệ đó có lẽ có thể cho bạn cái nhìn sâu sắc hơn về vấn đề này,

Tuy nhiên, tốt nhất là nên thử một số tùy chọn, tuy nhiên, vì tối ưu hóa cho việc mất xác nhận có thể cho phép đào tạo để chạy lâu hơn, cuối cùng cũng có thể tạo ra điểm F1 vượt trội . Độ chính xác và thu hồi có thể lắc lư xung quanh một số cực tiểu địa phương, tạo ra điểm F1 gần như tĩnh - vì vậy bạn sẽ ngừng đào tạo. Nếu bạn đã tối ưu hóa cho tổn thất thuần túy, bạn có thể đã ghi lại đủ biến động của tổn thất để cho phép bạn luyện tập lâu hơn.

Tôi hiện đang đào tạo một mạng lưới thần kinh và tôi không thể quyết định sử dụng để thực hiện các tiêu chí Dừng sớm của mình: mất xác thực hoặc số liệu như độ chính xác / F1score / auc / bất cứ điều gì được tính trên bộ xác thực.

Nếu bạn đang đào tạo một mạng lưới sâu, tôi khuyên bạn không nên sử dụng dừng sớm. Trong học tập sâu, nó không phải là rất thông thường. Thay vào đó, bạn có thể sử dụng các kỹ thuật khác như bỏ học để khái quát tốt. Nếu bạn nhấn mạnh vào điều đó, việc lựa chọn tiêu chí phụ thuộc vào nhiệm vụ của bạn. Nếu bạn có dữ liệu không cân bằng, bạn phải sử dụng F1điểm số và đánh giá nó trên dữ liệu xác thực chéo của bạn. Nếu bạn có dữ liệu cân bằng, hãy thử sử dụng độ chính xác trên dữ liệu xác thực chéo của bạn. Các kỹ thuật khác phụ thuộc rất nhiều vào nhiệm vụ của bạn.

Tôi rất khuyến khích bạn tìm một mô hình phù hợp với dữ liệu của bạn và sử dụng bỏ học sau đó. Đây là điều thông thường nhất mà mọi người sử dụng cho các mô hình sâu.