Dự đoán sự tự tin của một mạng lưới thần kinh

Giả sử tôi muốn đào tạo một mạng lưới thần kinh sâu để thực hiện phân loại hoặc hồi quy, nhưng tôi muốn biết dự đoán sẽ tự tin đến mức nào. Làm thế nào tôi có thể đạt được điều này?

Ý tưởng của tôi là tính toán entropy chéo cho mỗi mốc thời gian đào tạo, dựa trên hiệu suất dự đoán của nó trong các mét thần kinh ở trên. Sau đó, tôi sẽ huấn luyện một mạng nơ ron thứ hai để hồi quy, sẽ lấy mỗi mốc dữ liệu làm đầu vào và nó sẽ tạo thành entropy chéo làm đầu ra (một nút đầu ra). Sau đó, bạn sẽ sử dụng cả hai mạng trong thực tế - một mạng để dự đoán nhãn / giá trị và mạng còn lại để dự đoán độ tin cậy của mạng đầu tiên. (.... Nhưng sau đó tôi có cần mạng thứ ba để dự đoán độ tin cậy của mạng thứ hai không, v.v ...?!)

Đây có phải là một ý tưởng hợp lệ? Hơn nữa, nó là một ý tưởng tiêu chuẩn thường được sử dụng? Nếu không, bạn sẽ đề nghị gì?

Có lẽ tôi đang hiểu nhầm câu hỏi, nhưng đối với tôi, dường như cách tiêu chuẩn là có một nơ ron đầu ra cho mỗi Nlớp.

Sau đó, Nvectơ của các [0, 1]giá trị đầu ra biểu thị xác suất đầu vào thuộc về mỗi lớp và do đó có thể được hiểu là "độ tin cậy" mà bạn muốn có được.

Đối với những người quan tâm đến ước tính độ tin cậy dự đoán NN, bạn có thể muốn xem Dropout như một xấp xỉ Bayes: Đại diện cho sự không chắc chắn của mô hình trong Deep Learning (Gal et al., 2016) . Tóm lại, nó cho thấy phương sai của các dự đoán của mạng với việc bỏ qua dân số chạy trong đó bỏ học được thực hiện có thể được sử dụng để ước tính độ tin cậy dự đoán. Cách tiếp cận này có thể được sử dụng cho các mạng được thiết kế để phân loại hoặc hồi quy.