Tôi đã đọc bài viết này liên quan đến lưới đàn hồi. Họ nói rằng họ sử dụng lưới đàn hồi bởi vì nếu chúng ta chỉ sử dụng Lasso, nó có xu hướng chỉ chọn một yếu tố dự đoán trong số các yếu tố dự đoán có tương quan cao. Nhưng đây không phải là những gì chúng ta muốn. Tôi có nghĩa là nó cứu chúng ta khỏi những rắc rối của đa cộng đồng không.
Bất kỳ đề nghị / làm rõ?
Câu trả lời:
Giả sử hai yếu tố dự đoán có tác động mạnh đến phản hồi nhưng có mối tương quan cao trong mẫu mà bạn xây dựng mô hình của mình. Nếu bạn thả một từ mô hình, nó sẽ không dự đoán tốt cho các mẫu từ các quần thể tương tự trong đó các yếu tố dự đoán không tương quan cao.
Nếu bạn muốn cải thiện độ chính xác của các ước tính hệ số của bạn với sự hiện diện của đa cộng đồng, bạn phải đưa ra một chút sai lệch, tắt cài đặt nó bằng cách giảm phương sai lớn hơn. Một cách là bằng cách loại bỏ hoàn toàn các yếu tố dự đoán bằng LASSO, hoặc, trong những ngày xưa, các phương pháp từng bước, là phương pháp ước tính hệ số của chúng bằng không. Một cách khác là bằng cách thiên vị tất cả các ước tính một chút bit với hồi quy sườn, hoặc, trong những ngày xưa, hồi quy trên một vài thành phần chính đầu tiên. Một nhược điểm trước đây là rất không an toàn nếu mô hình sẽ được sử dụng để dự đoán các phản ứng cho các mẫu dự đoán cách xa các mẫu xảy ra trong mẫu ban đầu, vì các dự đoán có xu hướng bị loại trừ chỉ vì chúng không được sử dụng cùng với nhau, gần collinear, dự đoán. (Không phải phép ngoại suy là hoàn toàn an toàn.) Lưới đàn hồi là hỗn hợp của cả hai, như @ user12436 giải thích, và có xu hướng giữ các nhóm dự đoán tương quan trong mô hình.
Nhưng đây không phải là những gì chúng ta muốn. Ý tôi là nó cứu chúng ta khỏi những rắc rối của đa cộng đồng phải không.
Đúng! và không. Lưới đàn hồi là sự kết hợp của hai kỹ thuật chính quy hóa, chính quy L2 (được sử dụng trong hồi quy sườn) và chính quy L1 (được sử dụng trong LASSO).
Lasso tạo ra các mô hình thưa thớt tự nhiên, tức là hầu hết các hệ số biến đổi sẽ được thu nhỏ về 0 và loại trừ khỏi mô hình một cách hiệu quả. Vì vậy, các biến ít quan trọng nhất được thu nhỏ lại, trước khi thu nhỏ các biến khác, không giống như sườn núi, nơi tất cả các biến được thu nhỏ, trong khi không có biến nào thực sự bị thu hẹp về 0.
Lưới đàn hồi sử dụng kết hợp tuyến tính của cả hai phương pháp này. Trường hợp cụ thể được đề cập bởi Hastie khi thảo luận về phương pháp này là trong trường hợp p lớn, n nhỏ. Có nghĩa là: dữ liệu chiều cao với, tương đối ít quan sát. Trong trường hợp này, LASSO sẽ (chỉ báo cáo) chỉ chọn tối đa n biến, trong khi loại bỏ tất cả các biến còn lại, xem bài báo của Hastie .
Nó sẽ luôn phụ thuộc vào tập dữ liệu thực tế, nhưng bạn cũng có thể tưởng tượng rằng bạn không luôn muốn có giới hạn trên về số lượng biến trong các mô hình của mình bằng hoặc thấp hơn số lượng quan sát của bạn.
Cả Lasso và Elastic Net đều là các phương pháp hiệu quả để thực hiện lựa chọn biến hoặc tính năng trong cài đặt dữ liệu chiều cao (nhiều biến hơn so với bệnh nhân hoặc mẫu; ví dụ: 20.000 gen và 500 mẫu khối u).
Nó đã được chỉ ra (bởi Hastie và những người khác) rằng Elastic Net có thể vượt trội hơn Lasso khi dữ liệu có tương quan cao. Lasso có thể chỉ chọn một trong các biến tương quan và không quan tâm đến biến nào được chọn. Đây có thể là một vấn đề khi một người muốn xác nhận các biến được chọn trong một bộ dữ liệu độc lập. Biến được chọn bởi Lasso có thể không phải là yếu tố dự đoán tốt nhất trong số tất cả các biến tương quan. Mạng đàn hồi giải quyết vấn đề này bằng cách lấy trung bình các biến có tương quan cao.