Giá trị R bình phương có thích hợp để so sánh các mô hình không?

Tôi đang cố gắng xác định mô hình tốt nhất để dự đoán giá ô tô, sử dụng giá và tính năng có sẵn trên các trang web quảng cáo phân loại ô tô.

Để làm điều này, tôi đã sử dụng một vài mô hình từ thư viện scikit-learn và các mô hình mạng thần kinh từ pybrain và neurolab. Cách tiếp cận tôi đã sử dụng cho đến nay là chạy một lượng dữ liệu cố định thông qua một số mô hình (thuật toán học máy) và so sánh có các giá trị được tính toán với mô đun số liệu scikit-learn.$R^2$

1. Là là một phương pháp tốt để so sánh hiệu suất của các mô hình khác nhau?$R^2$
2. Mặc dù tôi nhận được kết quả khá chấp nhận được đối với các mô hình như Mạng đàn hồi và Rừng ngẫu nhiên, tôi nhận được các giá trị rất kém cho các mô hình mạng thần kinh, vậy có phải là một phương pháp thích hợp để đánh giá các mạng thần kinh (hoặc phương pháp phi tuyến tính) không?R $R^2$$R^2$

Tôi nghĩ phần quan trọng cần xem xét khi trả lời câu hỏi của bạn là

Tôi đang cố gắng xác định mô hình tốt nhất để dự đoán giá ô tô

bởi vì câu lệnh này ngụ ý điều gì đó về lý do tại sao bạn muốn sử dụng mô hình. Lựa chọn và đánh giá mô hình nên dựa trên những gì bạn muốn đạt được với các giá trị được trang bị của bạn.

Đầu tiên, hãy tóm tắt lại những gì thực hiện$R^2$ : Nó tính toán một tỷ lệ dựa trên hàm mất bậc hai, mà tôi chắc chắn rằng bạn đã biết. Để thấy điều này, xác định dư cho thứ i quan sát của bạn y i và giá trị được trang bị tương ứng y i . Sử dụng các ký hiệu thuận tiện S S R : = Σ N i = 1 e 2 i , S S T : = $e_i = y_i - \hat{y}_i$$y_i$$\hat{y}_i$$SSR := \sum_{i=1}^Ne_i^2$,R2chỉ đơn giản là định nghĩa làR2=1-SSR/SST.$SST:=\sum_{i=1}^N(y_i - \bar{y})^2$$R^2$$R^2 = 1 - SSR/SST$

Thứ hai, chúng ta hãy xem R 2 sử dụng cho lựa chọn / đánh giá mô hình nghĩa là gì$R^2$ . Giả sử chúng ta chọn từ một tập hợp các dự đoán đã được tạo ra bằng cách sử dụng mô hình M : M ∈ M , nơi M là bộ sưu tập các mô hình đang được xem xét (trong ví dụ của bạn, bộ sưu tập này sẽ chứa Mạng nơ-ron, rừng ngẫu nhiên, lưới đàn hồi, ...). Kể từ khi S S T sẽ vẫn không đổi trong tất cả các mô hình, nếu giảm thiểu R 2 bạn sẽ chọn chính xác các mô hình giảm thiểu S S R . Nói cách khác, bạn sẽ chọn$\bar{Y}_M$$M:M \in \mathcal{M}$$\mathcal{M}$$SST$$R^2$$SSR$ tạo ra mất bình phương sai số tối thiểu!$M \in \mathcal{M}$

$R^2$$SSR$ $L^2$$L^1$

$R^2$$L^p$$1 \leqslant p <2$$p=1$$L^p$$L^p$

Tóm lại, lựa chọn / đánh giá mô hình không thể được xem xét độc lập với mục tiêu của mô hình.