Khi nào nên sử dụng hồi quy Ridge và hồi quy Lasso. Những gì có thể đạt được trong khi sử dụng các kỹ thuật này thay vì mô hình hồi quy tuyến tính

Tôi mong muốn được tìm hiểu thêm về các kỹ thuật hồi quy chính quy như hồi quy Ridge và Lasso. Tôi muốn biết những gì có thể đạt được bằng cách sử dụng các kỹ thuật này khi so sánh với mô hình hồi quy tuyến tính. Ngoài ra trong tình huống nào chúng ta nên áp dụng các kỹ thuật này. Và điều gì làm cho hai kỹ thuật này khác nhau. Tôi đang tìm cách để hiểu khái niệm và toán học đằng sau những kỹ thuật này. Tôi sẽ yêu cầu chia sẻ kiến ​​thức có giá trị của bạn.

Nói tóm lại, hồi quy sườn và lasso là các kỹ thuật hồi quy được tối ưu hóa cho dự đoán, thay vì suy luận.

Hồi quy bình thường cung cấp cho bạn các hệ số hồi quy không thiên vị (ước tính khả năng tối đa "như được quan sát trong tập dữ liệu").

Hồi quy sườn và lasso cho phép bạn thường xuyên hệ số ("thu nhỏ"). Điều này có nghĩa là các hệ số ước tính được đẩy về 0, để làm cho chúng hoạt động tốt hơn trên các tập dữ liệu mới ("được tối ưu hóa cho dự đoán"). Điều này cho phép bạn sử dụng các mô hình phức tạp và tránh lắp quá mức cùng một lúc.

Đối với cả sườn núi và lasso, bạn phải đặt một cái gọi là "tham số meta" xác định cách thực hiện chính quy hóa tích cực. Các tham số meta thường được chọn bằng xác nhận chéo. Đối với hồi quy Ridge, tham số meta thường được gọi là "alpha" hoặc "L2"; nó chỉ đơn giản là định nghĩa sức mạnh chính quy. Đối với LASSO, tham số meta thường được gọi là "lambda" hoặc "L1". Trái ngược với Ridge, chính quy hóa LASSO sẽ thực sự đặt các dự đoán ít quan trọng hơn thành 0 và giúp bạn chọn các dự đoán có thể bị loại khỏi mô hình. Hai phương pháp được kết hợp trong Chính quy hóa "Đàn hồi". Ở đây, cả hai tham số đều có thể được đặt, với "L2" xác định cường độ chính quy và "L1" độ thưa thớt của kết quả.

Ở đây bạn tìm thấy một phần giới thiệu tuyệt vời cho chủ đề: http://scikit-learn.org/ sóng / mô-đun / lin_model.html

Mặc dù mô hình tuyến tính có thể là tối ưu cho dữ liệu được cung cấp để tạo mô hình, nhưng nó không nhất thiết được đảm bảo là mô hình tốt nhất cho các dự đoán về dữ liệu không nhìn thấy

Nếu dữ liệu cơ bản của chúng tôi tuân theo một mô hình tương đối đơn giản và mô hình chúng tôi sử dụng quá phức tạp cho nhiệm vụ, thì điều cơ bản chúng tôi đang làm là chúng tôi đang đặt quá nhiều vào bất kỳ thay đổi hoặc phương sai nào trong dữ liệu. Mô hình của chúng tôi đang phản ứng thái quá và bù đắp cho sự thay đổi nhỏ nhất trong dữ liệu của chúng tôi. Những người trong lĩnh vực thống kê và học máy gọi hiện tượng này là quá mức. Khi bạn có các tính năng trong tập dữ liệu có tương quan tuyến tính cao với các tính năng khác, hóa ra các mô hình tuyến tính sẽ có khả năng phù hợp hơn.

Hồi quy độ dốc, tránh sự phù hợp bằng cách thêm một hình phạt cho các mô hình có hệ số quá lớn.