Xác thực chéo cho hồi quy mạng đàn hồi: lỗi bình phương so với tương quan trên tập kiểm tra

Xem xét hồi quy mạng đàn hồi với glmnettham số giống như của hàm mấtTôi có một bộ dữ liệu với n \ ll p (tương ứng 44 và 3000) và tôi đang sử dụng xác thực chéo 11 lần lặp lại để chọn các tham số chính quy tối ưu \ alpha và \ lambda . Thông thường tôi sẽ sử dụng lỗi bình phương làm chỉ số hiệu suất trên tập kiểm tra, ví dụ: số liệu giống như bình phương R này: L_ \ text {test} = 1- \ frac {\ lVert y_ \ text {test} - \ hat \ beta_0 - X_ \ text {test} \ hat \ beta \ rVert ^ 2} {\ lVert y_ \ text {test} - \ hat \ beta_0 \ rVert ^ 2},

$$\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert \beta\rVert^2_2/2\big).$$ $n\ll p$$\alpha$$\lambda$ $$L_\text{test} = 1-\frac{\lVert y_\text{test} - \hat\beta_0 - X_\text{test}\hat\beta\rVert^2}{\lVert y_\text{test} - \hat\beta_0\rVert^2},$$ nhưng lần này tôi cũng đã thử sử dụng số liệu tương quan (lưu ý rằng đối với hồi quy OLS không được chuẩn hóa, giảm thiểu sai số bình phương tương đương với tối đa hóa tương quan): $$L_\text{test}=\operatorname{corr}(y_\text{test}, X_\text{test}\hat\beta).$$

Rõ ràng là hai số liệu hiệu suất không chính xác tương đương, nhưng thật là thú vị, họ không đồng ý chứ không phải mạnh mẽ:

Đặc biệt lưu ý những gì xảy ra ở các bảng chữ cái nhỏ, ví dụ $\alpha=.2$ (đường màu xanh lá cây): đạt được mối tương quan với tập kiểm tra tối đa khi tập kiểm tra $R^2$ giảm đáng kể so với mức tối đa của nó. Nói chung, đối với bất kỳ \ alpha đã cho nào $\alpha$, mối tương quan dường như được tối đa hóa ở $\lambda$ lớn hơn lỗi bình phương.

Tại sao nó xảy ra và làm thế nào để đối phó với nó? Những tiêu chí nào nên được ưu tiên? Có ai gặp phải hiệu ứng này?

Tôi nghĩ rằng tôi đã tìm ra những gì đã xảy ra ở đây.

Lưu ý rằng giá trị tương quan không phụ thuộc vào độ dài của . Vì vậy, nếu tương quan kiểm tra tiếp tục tăng trong khi những giọt thử nghiệm R-squared, nó có thể chỉ ra rằng không phải là tối ưu và mở rộng quy mô lên hoặc xuống bởi một vô hướng yếu tố có thể giúp đỡ.$\hat\beta$$\lVert\hat\beta\rVert$$\hat\beta$

Sau khi nhận ra điều này, tôi nhớ rằng đã có nhiều tuyên bố trong tài liệu về tính đàn hồi và thậm chí cả Lasso, "thu nhỏ quá mức" các hệ số. Đối với Lasso, có một quy trình "thư giãn Lasso" nhằm sửa đổi sự thiên vị này: xem Ưu điểm của việc thực hiện "nhân đôi" hay thực hiện Lasso hai lần? . Đối với lưới đàn hồi, bài báo gốc Zou & Hastie 2005 thực sự ủng hộ việc tăng tỷ lệ theo một yếu tố không đổi, xem Tại sao glmnet sử dụng lưới đàn hồi "ngây thơ" từ giấy gốc của Zou & Hastie? . Tỷ lệ như vậy sẽ không thay đổi giá trị tương quan nhưng sẽ ảnh hưởng đến bình phương R.$\hat\beta$

Khi tôi áp dụng tỷ lệ heuristic Zou & Hastie tôi nhận được kết quả sau:

$$\hat\beta^* = \big(1+\lambda(1-\alpha)\big)\hat\beta,$$

Ở đây, các đường liền nét giống như trong hình trong câu hỏi của tôi trong khi các đường đứt nét ở ô phụ bên trái sử dụng bản beta được chia tỷ lệ lại. Bây giờ cả hai số liệu được tối đa hóa bởi xung quanh cùng các giá trị của và .$\alpha$$\lambda$

Ma thuật!