Tiêu chuẩn hóa so với chuẩn hóa cho Lasso / Ridge Regression


9

Tôi biết rằng thông thường là tiêu chuẩn hóa các tính năng cho hồi quy sườn và lasso, tuy nhiên, liệu có thực tế hơn khi bình thường hóa các tính năng trên thang đo (0,1) thay thế cho tiêu chuẩn hóa điểm z cho các phương pháp hồi quy này không?

Câu trả lời:


4

Nếu bạn áp dụng chuẩn hóa (nén trong [0,1]), bạn sẽ có một thước đo về tầm quan trọng của biến tương đối nhưng nó sẽ thay đổi quy mô của các biến của bạn và bạn sẽ mất tất cả tính dễ hiểu của mô hình. Ưu điểm của tiêu chuẩn hóa là bạn vẫn có thể diễn giải mô hình như bạn làm với hồi quy OLS không thường xuyên (điều này đã được trả lời ở đây ).


3
Mô hình chính quy đang hành động rất khác nhau có hoặc không có chuẩn hóa !! Cụ thể, nếu chúng tôi không chuẩn hóa các tính năng, chúng tôi sẽ có các hình phạt khác nhau đối với các tính năng khác nhau!
Haitao Du

1
Tôi đặc biệt nói về giải thích hệ số Lasso , không phải ước tính. Cho rằng các ước tính sẽ thay đổi, tôi sẽ tò mò muốn biết làm thế nào mô hình giải thích thay đổi.
Digio

1
Dường như với tôi rằng câu hỏi bạn liên kết đến trong câu trả lời của bạn hỗ trợ cho điểm bạn đang thực hiện. Bạn có thể nói rõ hơn trong bài viết gốc của mình tại sao việc giải thích các hệ số ols chỉ đồng ý với các hệ số lasso khi các tính năng được chuẩn hóa? Cảm ơn bạn!
user795305

@Ben, bạn đã hiểu nhầm câu trả lời của tôi (có lẽ lỗi của tôi). Câu trả lời tôi đã liên kết để giải thích cách các hệ số mô hình trong lasso và hồi quy đơn giản (OLS hay nói cách khác) được diễn giải theo cùng một cách - trong mọi trường hợp (được chuẩn hóa hay không). Với chuẩn hóa (trong bất kỳ loại hoặc hồi quy tham số nào), bạn mất thang đo ban đầu và bạn không thể giải thích các hệ số mà không cần chuyển đổi ngược. Với tiêu chuẩn hóa, bạn diễn giải mô hình theo cách thông thường.
Digio

0

Chuẩn hóa là rất quan trọng đối với các phương pháp với chính quy. Điều này là do quy mô của các biến ảnh hưởng đến mức độ chính quy sẽ được áp dụng cho biến cụ thể.

Ví dụ: giả sử một biến có quy mô rất lớn, giả sử thứ tự hàng triệu và biến khác là từ 0 đến 1. Sau đó, chúng ta có thể nghĩ rằng việc chính quy hóa sẽ ít ảnh hưởng đến biến đầu tiên.

Cũng như chúng ta thực hiện chuẩn hóa, bình thường hóa thành 0 thành 1 hoặc chuẩn hóa các tính năng không quá quan trọng.


1
Câu trả lời này là rõ ràng. Bằng cách "chuẩn hóa" ở đây có nghĩa là nén tất cả các giá trị trong [0,1], nó không chỉ là một từ khác để tiêu chuẩn hóa. Câu hỏi là về ảnh hưởng của chuẩn hóa trong [0,1] so với tiêu chuẩn hóa ~ N (0,1) đối với các hệ số mô hình.
Digio

Có nghĩa là bình thường hóa thành [0,1]? Có nhiều cách để đạt được điều đó. Chính xác thì đề nghị của bạn cho hồi quy bị phạt là gì?
Cagdas Ozgenc

1
Vì câu hỏi nêu rõ "bình thường hóa các tính năng trên thang đo (0,1)", mặc dù có thể tính năng thay đổi kích thước là một thuật ngữ tốt hơn, là một kỹ thuật chung để tạo ra các ước tính hệ số thể hiện tầm quan trọng của biến tương đối (tương tự như độ tinh khiết của RF). Vâng, có nhiều cách để đạt được điều này và nó không phải là một cái gì đó cụ thể đối với hồi quy bị phạt nhưng câu hỏi này là về tác dụng của việc thay đổi tính năng (không phải tiêu chuẩn hóa) đối với Lasso.
Digio

Ý bạn là gì khi "bình thường hóa nó thành 0 thành 1 hoặc chuẩn hóa các tính năng không quá quan trọng"? Theo nghĩa nào thì nó không quá quan trọng? Bạn có thể cung cấp bất kỳ trực giác hoặc tài liệu tham khảo cho khiếu nại này?
user795305
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.