Câu hỏi về tiêu chuẩn hóa trong hồi quy sườn núi

Này các bạn, tôi đã tìm thấy một hoặc hai bài báo sử dụng hồi quy sườn (cho dữ liệu bóng rổ). Tôi luôn được yêu cầu chuẩn hóa các biến của mình nếu tôi chạy hồi quy sườn, nhưng tôi chỉ đơn giản được yêu cầu làm điều này bởi vì sườn là biến thể quy mô (hồi quy sườn không thực sự là một phần của khóa học của chúng tôi, vì vậy giảng viên của chúng tôi đã lướt qua nó).

Những bài báo tôi đọc không chuẩn hóa các biến của chúng, điều mà tôi thấy hơi ngạc nhiên. Họ cũng đã kết thúc với các giá trị lớn của lambda (khoảng mức 2000-4000) thông qua xác nhận chéo và tôi được cho biết rằng điều này là do không chuẩn hóa các biến.

Làm thế nào chính xác làm cho (các) biến không được chuẩn hóa dẫn đến giá trị lambda cao và cũng có những hậu quả của việc không tiêu chuẩn hóa các biến nói chung là gì? Có thực sự là một vấn đề lớn như vậy?

Bất kỳ sự giúp đỡ nào cũng được đánh giá cao.

Hồi quy sườn thường xuyên hồi quy tuyến tính bằng cách áp dụng một hình phạt đối với kích thước của các hệ số. Do đó, các hệ số được thu nhỏ về 0 và về phía nhau. Nhưng khi điều này xảy ra và nếu các biến độc lập không có cùng tỷ lệ, thì việc thu hẹp là không công bằng. Hai biến độc lập với các thang đo khác nhau sẽ có những đóng góp khác nhau cho các điều khoản bị phạt, bởi vì thuật ngữ bị phạt là tổng bình phương của tất cả các hệ số. Để tránh loại vấn đề như vậy, rất thường xuyên, các biến độc lập được căn giữa và chia tỷ lệ để có phương sai 1.

[Chỉnh sửa sau để trả lời nhận xét]

$height$

Thuật ngữ phạt với lambda giống như biểu thị hàm mất vuông đối với tổng các hệ số bình phương nhỏ hơn hoặc bằng một hằng số đã cho. Điều đó có nghĩa là, lambda lớn hơn cung cấp nhiều không gian cho tổng hệ số bình phương, và lambda thấp hơn một không gian nhỏ hơn. Không gian lớn hơn hoặc nhỏ hơn có nghĩa là các giá trị tuyệt đối lớn hơn hoặc nhỏ hơn của các hệ số.

Bằng cách không sử dụng tiêu chuẩn hóa, để phù hợp với mô hình có thể yêu cầu các giá trị tuyệt đối lớn của các hệ số. Tất nhiên, chúng ta có thể có một giá trị hệ số lớn một cách tự nhiên, do vai trò của biến trong mô hình. Điều tôi nói là giá trị này có thể có giá trị tăng giả tạo do không mở rộng. Vì vậy, nhân rộng cũng làm giảm nhu cầu về một giá trị lớn của các hệ số. Do đó, giá trị tối ưu của lambda thường sẽ nhỏ hơn, tương ứng với một tổng nhỏ hơn các giá trị bình phương của các hệ số.

Mặc dù trễ bốn năm, hy vọng ai đó sẽ được hưởng lợi từ điều này .... Theo cách tôi hiểu, coeff là có bao nhiêu biến mục tiêu thay đổi cho một đơn vị thay đổi trong biến độc lập (dy / dx). Giả sử chúng ta đang nghiên cứu mối quan hệ giữa cân nặng và chiều cao và cân nặng được đo bằng Kg. Khi chúng tôi sử dụng Kilômét cho chiều cao, bạn có thể tưởng tượng hầu hết các điểm dữ liệu (đối với chiều cao của con người) được đóng gói chặt chẽ. Do đó, đối với một sự thay đổi nhỏ về chiều cao sẽ có sự thay đổi rất lớn về cân nặng (giả sử tăng cân theo chiều cao). Tỷ lệ dy / dx sẽ rất lớn. Mặt khác, nếu chiều cao được đo bằng milimét, dữ liệu sẽ được truyền đi xa và rộng trên các thuộc tính chiều cao. Thay đổi đơn vị chiều cao sẽ không có thay đổi đáng kể về trọng lượng dy / dx sẽ rất nhỏ gần bằng 0.