Tại sao nên sử dụng lasso nhóm thay vì lasso?

Tôi đã đọc rằng lasso nhóm được sử dụng để lựa chọn biến và độ thưa thớt trong một nhóm các biến. Tôi muốn biết trực giác đằng sau yêu sách này.

• Tại sao nhóm Lasso lại thích Lasso hơn?
• Tại sao đường dẫn giải pháp lasso nhóm không piecewise tuyến tính?

Nói bằng trực giác, nhóm Lasso có thể được ưa thích để Lasso vì nó cung cấp một phương tiện để chúng ta kết hợp (một loại) có thêm thông tin vào ước tính của chúng tôi đối với các hệ số đúng . Như một kịch bản cực đoan, xem xét những điều sau đây:$\beta^*$

Với $y \sim \mathcal{N} (X \beta^*, \sigma^2 I )$ , đặt $S = \{j : \beta^*_j \neq 0 \}$ như sự ủng hộ của$\beta^*$

$$\hat{\beta} = \arg\min_{\beta} \|y - X \beta\|_2^2 + \lambda \left( |S|^{1/2} \|\beta_S\|_2 + (p-|S|)^{1/2} \|\beta_{S^C}\|_2 \right),$$ $\lambda_{max}$$\lambda$$\hat{\beta} = 0$$\lambda$ chuyển từ sang (đối với một số nhỏ ), chính xác một nhóm sẽ tham gia hỗ trợ , được coi là ước tính phổ biến cho . Do nhóm của chúng tôi, với xác suất cao, nhóm được chọn sẽ là và chúng tôi đã hoàn thành một công việc hoàn hảo.$\lambda_{max}$$\lambda_{max} - \epsilon$$\epsilon > 0$$\hat{\beta}$$S$$S$

Trong thực tế, chúng tôi không chọn nhóm này tốt. Tuy nhiên, các nhóm, mặc dù tốt hơn so với kịch bản cực đoan ở trên, vẫn sẽ giúp chúng ta: sự lựa chọn vẫn sẽ được đưa ra giữa một nhóm các đồng biến thực sự và một nhóm các đồng biến không đúng. Chúng tôi vẫn đang mượn sức mạnh.

Điều này được chính thức hóa ở đây . Họ cho thấy, trong một số điều kiện, giới hạn trên của lỗi dự đoán của lasso nhóm thấp hơn giới hạn dưới của lỗi dự đoán của lasso đồng bằng. Đó là, họ đã chứng minh rằng việc phân nhóm làm cho ước tính của chúng tôi làm tốt hơn.

Đối với câu hỏi thứ hai của bạn: Hình phạt lasso (đơn giản) là piecewise tuyến tính, và điều này dẫn đến đường dẫn giải pháp tuyến tính piecewise. Theo trực giác, trong trường hợp lasso nhóm, hình phạt không còn là tuyến tính nữa, vì vậy chúng tôi không còn có tài sản này. Một tài liệu tham khảo tuyệt vời về tuyến tính từng phần của đường dẫn giải pháp là ở đây . Xem mệnh đề của họ 1. Đặt và . Chúng chỉ ra rằng đường dẫn giải pháp của nhóm lasso là tuyến tính khi và chỉ khi là hằng số từng phần. Tất nhiên, không phải vì hình phạt của chúng tôi có độ cong toàn cầu.$L(\beta) = \|y - X \beta\|_2^2$$J(\beta) = \sum_{g \in G} |g|^{1/2} \|\beta_g\|_2$

$$\left( \nabla^2L(\hat{\beta}) + \lambda \nabla^2 J(\hat{\beta}) \right)^{-1} \nabla J(\hat{\beta})$$ $J$

Câu trả lời của Ben là kết quả chung nhất. Nhưng câu trả lời trực quan cho OP được thúc đẩy bởi trường hợp của các yếu tố dự đoán phân loại, thường được mã hóa dưới dạng nhiều biến giả: một biến cho mỗi loại. Nó có ý nghĩa trong nhiều phân tích để xem xét các biến giả này (đại diện cho một yếu tố dự đoán phân loại) với nhau chứ không phải riêng biệt.

Nếu bạn có một biến phân loại với, giả sử, năm cấp độ, một bức tranh thẳng có thể để lại hai trong và ba. Làm thế nào để bạn xử lý điều này một cách nguyên tắc? Quyết định bỏ phiếu? Nghĩa đen sử dụng các biến giả thay vì phân loại có ý nghĩa hơn? Làm thế nào để mã hóa giả của bạn ảnh hưởng đến sự lựa chọn của bạn?

Như họ nói trong phần giới thiệu The lasso nhóm về hồi quy logistic , nó đề cập đến:

Đã có trường hợp đặc biệt trong hồi quy tuyến tính khi không chỉ có các yếu tố dự đoán liên tục mà còn cả các yếu tố dự đoán phân loại, giải pháp Lasso không thỏa đáng vì nó chỉ chọn các biến giả giả thay vì toàn bộ các yếu tố. Hơn nữa, giải pháp Lasso phụ thuộc vào cách các biến giả được mã hóa. Chọn độ tương phản khác nhau cho một công cụ dự đoán phân loại sẽ tạo ra các giải pháp khác nhau nói chung.

Như Ben chỉ ra, cũng có những liên kết tinh tế hơn giữa các yếu tố dự đoán có thể chỉ ra rằng chúng nên ở trong hoặc ngoài cùng nhau. Nhưng các biến phân loại là con đẻ của nhóm Lasso.