Đánh giá hiệu suất của mô hình hồi quy bằng cách sử dụng tập huấn luyện và kiểm tra?


10

Tôi thường nghe về việc đánh giá hiệu suất của một mô hình phân loại bằng cách đưa ra bộ kiểm tra và huấn luyện một mô hình trên tập huấn luyện. Sau đó tạo 2 vectơ, một cho các giá trị dự đoán và một cho các giá trị thực. Rõ ràng việc thực hiện so sánh cho phép người ta đánh giá hiệu suất của mô hình bằng sức mạnh dự đoán của nó bằng cách sử dụng những thứ như F-Score, Kappa Statistic, Precision & Recall, ROC, v.v.

Làm thế nào điều này so sánh với việc đánh giá dự đoán số như hồi quy? Tôi giả định rằng bạn có thể huấn luyện mô hình hồi quy trên tập huấn luyện, sử dụng nó để dự đoán các giá trị, sau đó so sánh các giá trị dự đoán này với các giá trị thực nằm trong tập kiểm tra. Rõ ràng các biện pháp thực hiện sẽ phải khác nhau vì đây không phải là một nhiệm vụ phân loại. Phần dư thông thường và thống kê là các biện pháp rõ ràng nhưng có nhiều cách / tốt hơn để đánh giá hiệu suất cho các mô hình hồi quy? Có vẻ như phân loại có rất nhiều lựa chọn nhưng hồi quy được để lại cho R 2 và phần dư.R2R2


1
Tôi không chắc chắn chính xác câu hỏi bạn đang hỏi nhưng một số liệu lỗi rõ ràng cho mô hình hồi quy với đầu ra liên tục là lỗi bình phương trung bình (MSE) giữa đầu ra mô hình và biến kết quả.
BGreene

Vì vậy, chỉ là một biện pháp lỗi giữa thực tế và dự đoán.
StatTime

Có, được tối ưu hóa trên tập huấn luyện và được xác nhận bằng cách sử dụng bộ kiểm tra.
BGreene

Câu trả lời:


2

Như đã nói, thông thường, Lỗi bình phương trung bình được sử dụng. Bạn tính toán mô hình hồi quy của mình dựa trên tập huấn luyện của bạn và đánh giá hiệu suất của nó bằng cách sử dụng một bộ kiểm tra riêng (một bộ trên đầu vào x và các đầu ra dự đoán đã biết y) bằng cách tính MSE giữa các đầu ra của bộ thử nghiệm (y) và các đầu ra được cung cấp bởi mô hình (f (x)) cho cùng một đầu vào (x).

Ngoài ra, bạn có thể sử dụng các số liệu sau: Lỗi bình phương gốc, Lỗi bình phương tương đối, Lỗi tuyệt đối trung bình, Lỗi tuyệt đối tương đối ... (hỏi google về định nghĩa)


err=A(xxi)+B(xxi)2
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.