Sườn, lasso và lưới đàn hồi

Làm thế nào để so sánh các phương pháp chuẩn hóa sườn núi, LASSO và thunnet? Ưu điểm và nhược điểm tương ứng của họ là gì? Bất kỳ bài viết kỹ thuật tốt, hoặc ghi chú bài giảng cũng sẽ được đánh giá cao.

Trong cuốn sách Các yếu tố của học thống kê , Hastie et al. cung cấp một so sánh rất sâu sắc và kỹ lưỡng về các kỹ thuật co ngót này. Cuốn sách có sẵn trực tuyến ( pdf ). Việc so sánh được thực hiện trong phần 3.4.3, trang 69.

Sự khác biệt chính giữa Lasso và Ridge là thời hạn phạt mà họ sử dụng. Sườn sử dụng thuật ngữ hình phạt giới hạn kích thước của vectơ hệ số. Lasso sử dụng hình phạt L 1 trong đó áp đặt độ thưa thớt giữa các hệ số và do đó, làm cho mô hình được trang bị dễ hiểu hơn. Elasticnet được giới thiệu như một sự thỏa hiệp giữa hai kỹ thuật này và có một hình phạt là sự pha trộn của các chỉ tiêu L 1 và L 2 .$L_2$$L_1$$L_1$$L_2$

Tóm lại, đây là một số khác biệt nổi bật giữa Lasso, Ridge và Elastic-net:

1. Lasso thực hiện một lựa chọn thưa thớt , trong khi Ridge thì không.
2. Khi bạn có các biến tương quan cao , hồi quy Ridge thu nhỏ hai hệ số về phía nhau. Lasso có phần thờ ơ và thường chọn cái này hơn cái kia. Tùy thuộc vào ngữ cảnh, người ta không biết biến nào được chọn. Lưới đàn hồi là một sự thỏa hiệp giữa hai bên cố gắng thu nhỏ và thực hiện lựa chọn thưa thớt đồng thời.
3. Các công cụ ước tính sườn không quan tâm đến việc nhân rộng dữ liệu. Nghĩa là, nếu cả hai biến X và Y được nhân với các hằng số, các hệ số của sự phù hợp không thay đổi, đối với tham số cho . Tuy nhiên, đối với Lasso, sự phù hợp không độc lập với tỷ lệ. Trong thực tế, λ tham số phải được nhân rộng bởi các nhân để có được kết quả tương tự. Nó phức tạp hơn cho lưới đàn hồi.$\lambda$$\lambda$
4. Ridge phạt lớn nhất là nhiều$\beta$ hơn nó phạt những cái nhỏ hơn (vì chúng đã được bình phương trong thời gian hình phạt). Lasso phạt họ đồng đều hơn. Điều này có thể hoặc không quan trọng. Trong một vấn đề dự báo với một người dự đoán mạnh mẽ, hiệu quả của người dự đoán bị thu hẹp bởi Sườn so với Lasso.

Tôi đặc biệt khuyên bạn nên xem phần Giới thiệu về sách học thống kê (Tibshirani et. Al, 2013).

Lý do cho điều này là các yếu tố của cuốn sách học thống kê được dành cho các cá nhân được đào tạo nâng cao về khoa học toán học. Trong lời tựa cho ISL, các tác giả viết:

Một Giới thiệu để học tập thống kê xuất phát từ nhu cầu nhận thức cho một điều trị rộng hơn và ít kỹ thuật của các chủ đề này. [...]

Giới thiệu về Học thống kê phù hợp với sinh viên đại học nâng cao hoặc sinh viên thạc sĩ về thống kê hoặc các lĩnh vực định lượng liên quan hoặc cho các cá nhân trong các ngành khác muốn sử dụng các công cụ học thống kê để phân tích dữ liệu của họ.

Các câu trả lời trên rất rõ ràng và nhiều thông tin. Tôi muốn thêm một điểm nhỏ từ quan điểm thống kê. Lấy hồi quy sườn núi làm ví dụ. Đây là một phần mở rộng của hồi quy bình phương tối thiểu thứ tự để giải quyết các vấn đề đa cộng tuyến khi có nhiều tính năng tương quan. Nếu hồi quy tuyến tính là

Y=Xb+e

Giải pháp phương trình bình thường cho hồi quy tuyến tính bội

b=inv(X.T*X)*X.T*Y

Giải pháp phương trình bình thường cho hồi quy sườn núi là

b=inv(X.T*X+k*I)*X.T*Y. 

Đây là một công cụ ước tính thiên vị cho b và chúng ta luôn có thể tìm thấy một điều khoản phạt k sẽ làm cho sai số bình phương trung bình của hồi quy Ridge nhỏ hơn so với hồi quy OLS.

Đối với LASSO và Elastic-Net, chúng tôi không thể tìm thấy giải pháp phân tích như vậy.