Làm thế nào để có được điểm tự tin cho dự đoán?

Trong bài toán hồi quy, có thể tính điểm tin cậy / độ tin cậy cho một dự đoán nhất định cho các mô hình như XGBoost hoặc Mạng nơ-ron không?

— Rodrigo Nader
nguồn

Bất kể mô hình nào, bạn luôn có thể sử dụng bootstrap không tham số để xây dựng khoảng tin cậy cho bất kỳ tham số nào, bao gồm cả dự đoán (thực sự là các biến ngẫu nhiên nhưng được báo cáo là kỳ vọng). Đây là thủ tục chung:

Đặt là số lượng quan sát trong dữ liệu huấn luyện của bạn và biểu thị quan sát cụ thể có dự đoán, , bạn muốn có CI cho. $N$ $X$ $x_j$ $\hat{y}_j$
Đặt số lần lặp lại lấy mẫu lại (Phải là cho một CI có phạm vi bảo hiểm $K$ $\ge 20$ $\ge 95\%$ )
Dành cho $i$ trong $K$ , vẽ một $N$ mẫu ngẫu nhiên từ $X$ với sự thay thế. Biểu thị điều này $X_i^{*}$
Huấn luyện một người mẫu trên $X_i^{*}$ và sử dụng mô hình này để hình thành dự đoán về $x_j$ . Gọi cái này $\hat{y}^{*}_{ji}$
Ước tính các tham số phân phối cho $\hat{y}_j$ từ mẫu của bạn. Một $100 - \alpha$ CI được đưa ra bởi $\frac{\alpha}{2}$ và $100 - \frac{\alpha}{2}$ phần trăm của $\hat{y}^{*}_{j}$ .

— David Marx
nguồn

Có cách nào để có được khoảng tin cậy này cho một mô hình đã được đào tạo không?

— Rodrigo Nader

Không phải là tôi biết. Nếu bạn giả vờ số dư của mình là iid (có thể chúng không phải với các mô hình đó), bạn có thể ước tính phân phối phần dư trực tiếp và sau đó rút ra các khoảng dự đoán từ đó. Không chắc chắn nếu điều đó phù hợp với nhu cầu của bạn. Nếu bạn đang cố gắng xác định dự đoán nào thì mô hình của bạn ít nhiều "chắc chắn", điều này sẽ không cung cấp cho bạn điều đó.

— David Marx

@davidmarx tại sao chúng ta cần giả định iid? nếu chúng ta có đủ dữ liệu xác nhận, chúng ta có thể xem các lỗi là tham số để ước tính và xây dựng mô hình hồi quy thứ hai để ước tính chúng không?

— ihadanny