có nên hủy bỏ các chỉ số dự báo / nhị phân / giả cho LASSO

Đối với LASSO (và các quy trình chọn mô hình khác), điều quan trọng là phải hủy bỏ các yếu tố dự đoán. Các chung đề nghị tôi theo cách đơn giản là sử dụng một 0 bình, 1 bình thường độ lệch chuẩn cho các biến liên tục. Nhưng có gì để làm với người giả?

Ví dụ, một số ví dụ được áp dụng từ cùng một trường học hè (xuất sắc) mà tôi đã liên kết để giải quyết các biến liên tục nằm trong khoảng từ 0 đến 1 (không tuyệt vời với các ngoại lệ), có lẽ có thể so sánh với các hình nộm. Nhưng ngay cả điều đó không đảm bảo rằng các hệ số phải có cùng thứ tự độ lớn, và do đó bị phạt tương tự, lý do chính cho việc thay đổi kích thước, không?

Theo Tibshirani ( PHƯƠNG PHÁP LASSO LỰA CHỌN LỰA CHỌN TRONG MÔ HÌNH COX, Thống kê trong Y học, TẬP 16, 385-395 (1997) ), người đã viết cuốn sách về phương pháp chính quy hóa, bạn nên chuẩn hóa các hình nộm. Tuy nhiên, sau đó bạn mất khả năng diễn giải đơn giản của các hệ số của bạn. Nếu bạn không, các biến của bạn không nằm trên một sân chơi bình đẳng. Về cơ bản, bạn đang nghiêng các thang đo có lợi cho các biến liên tục của mình (rất có thể). Vì vậy, nếu mục tiêu chính của bạn là lựa chọn mô hình thì đây là một lỗi nghiêm trọng. Tuy nhiên, nếu bạn quan tâm hơn đến việc giải thích thì có lẽ đây không phải là ý tưởng tốt nhất.

Đề xuất ở trang 394:

Phương pháp Lasso đòi hỏi tiêu chuẩn hóa ban đầu của các biến hồi quy, để sơ đồ xử phạt là công bằng cho tất cả các biến hồi quy. Đối với các biến hồi quy phân loại, người ta mã hóa biến hồi quy bằng các biến giả và sau đó chuẩn hóa các biến giả. Như được chỉ ra bởi một trọng tài, tuy nhiên, tỷ lệ tương đối giữa các biến liên tục và phân loại trong sơ đồ này có thể hơi tùy ý.

Bài đăng trên blog của Andrew Gelman, Khi nào cần chuẩn hóa các đầu vào hồi quy và khi nào để chúng một mình , cũng đáng xem. Phần này đặc biệt có liên quan:

Để so sánh các hệ số cho các yếu tố dự đoán khác nhau trong một mô hình, việc chuẩn hóa sẽ nhận được cái gật đầu. (Mặc dù tôi không chuẩn hóa các đầu vào nhị phân. Tôi mã hóa chúng là 0/1, và sau đó tôi chuẩn hóa tất cả các đầu vào số khác bằng cách chia cho hai độ lệch chuẩn, do đó đặt chúng trên cùng một tỷ lệ với các biến 0/1.)

Đây là nhiều hơn một bình luận, nhưng quá dài. Một trong những phần mềm được sử dụng nhiều nhất cho lasso (và bạn bè) là R's glmnet. Từ trang trợ giúp, được in bởi ?glmnet:

tiêu chuẩn hóa: Cờ logic cho tiêu chuẩn hóa biến x, trước khi khớp chuỗi mô hình. Các hệ số luôn được trả về theo tỷ lệ ban đầu. Mặc định là 'chuẩn hóa = TRUE'. Nếu các biến đã ở cùng một đơn vị, bạn có thể không muốn chuẩn hóa. Xem chi tiết bên dưới để chuẩn hóa y với 'Family = "gaussian"'.

$X$