Tại sao R Squared không phải là một biện pháp tốt cho hồi quy phù hợp khi sử dụng LASSO?

Tôi đã đọc ở một số nơi rằng R Squared không phải là một biện pháp lý tưởng khi một mô hình phù hợp bằng LASSO. Tuy nhiên, tôi không rõ chính xác tại sao lại như vậy.

Ngoài ra, bạn có thể đề nghị thay thế tốt nhất?

— Dave
nguồn

Mục tiêu của việc sử dụng LASSO là thu được một đại diện thưa thớt (với số lượng dự đoán) theo nghĩa là không có nhiều hiệp phương sai. So sánh các mô hình với có xu hướng ủng hộ các mô hình có nhiều hiệp phương sai: trên thực tế, việc thêm các đồng biến không liên quan đến kết quả sẽ không bao giờ giảm và hầu như luôn tăng ít nhất một chút. Mô hình LASSO sẽ xác định mô hình với khả năng ghi nhật ký bị phạt tối ưu (khả năng đăng nhập không được chứng nhận có liên quan đơn điệu đến ). Thống kê xác nhận được sử dụng rộng rãi hơn để so sánh các mô hình LASSO với các loại mô hình khác, ví dụ, BIC hoặc được xác thực chéo . $R^2$ $R^2$ $R^2$ $R^2$

— Adam
nguồn

+1 để trình bày rõ ràng lý do và cung cấp giải pháp thay thế

— Haitao Du

Cảm ơn rất nhiều vì câu trả lời tuyệt vời! Bạn có phiền khi xây dựng "Mô hình LASSO sẽ xác định mô hình với khả năng ghi nhật ký bị phạt tối ưu (khả năng đăng nhập không được cấp phép có liên quan đơn điệu đến R2)." Tôi lấy phần đầu tiên có nghĩa là nó sẽ chọn mô hình có ít lỗi nhất (trong dự đoán và thông qua hình phạt)? Nhưng tôi không rõ ý nghĩa của bit trong ngoặc. Điều đó có nghĩa là LL không mở rộng tăng lên khi R2 đi xuống? Ngoài ra, R2 có xác thực chéo có phải nằm trong bộ dữ liệu hoàn toàn mới không? Hoặc nó có thể được dựa trên dữ liệu đào tạo?

— Dave

\log (2 π) N + 1 - \log (N) + \log (\sum_{i = 1}^{n} r_{i}^{2})

$\log(2\pi)N+1−\log(N)+\log(\sum_{i=1}^n r_i^2)$

1 - \sum_{i = 1}^{n} r_{i}^{2} / \sum_{i = 1}^{n} y_{i}^{2}

$1 - \sum_{i=1}^n r_i^2/\sum_{i=1}^ny_i^2$ . Việc xử phạt góp phần gây ra lỗi một cách gián tiếp, đó là một cái giá bạn phải trả để thực thi sự thưa thớt. Mô hình chưa mở sẽ luôn có lỗi (bên trong) thấp hơn. Mọi người thường xác nhận chéo với cùng một bộ dữ liệu. Các mô hình thử nghiệm trong bộ dữ liệu mới là một điều hoàn toàn khác (không cần phần "chéo") và nó không được thực hiện đủ.

— AdamO

@AdamO Tôi nghĩ rằng đó là một ý tưởng tốt để chỉnh sửa nhận xét của bạn vào câu trả lời của bạn, nó rất tốt.

— Matthew Drury

Xin chào @AdamO một câu hỏi tiếp theo cuối cùng. Bây giờ tôi đã hiểu tại sao R2 truyền thống là một biện pháp tồi. Nhưng, tôi không rõ tại sao R2 xác thực chéo (trong cùng một bộ dữ liệu) lại ổn?

— Dave