Thuộc tính thiên vị và phương sai của

Khi chuyển từ chuẩn hóa sang trong Hồi quy tuyến tính, tôi có nên thấy nhiều sai lệch hoặc nhiều phương sai hơn không? Lưu ý rằng sai lệch là dấu hiệu của sự phù hợp và phương sai là dấu hiệu của sự phù hợp quá mức. Giả sử hằng số λ.$L^2$$L^1$

Tôi đang tìm một quy tắc chung của ngón tay cái ở đây. Nếu không có, và câu trả lời phụ thuộc vào một số yếu tố khác mà tôi chưa tính đến, vui lòng giải thích.

Phương sai sẽ tăng lên, vấn đề với chính quy hóa L1 là một số hệ số rất khó lường. Câu trả lời phụ thuộc vào mức độ nghiêm trọng của bạn ($\lambda$giá trị). Tôi đã tạo ra sóng sin với nhiễu gaussian với các hạt khác nhau và những gì được quan sát là thấp hơn$\lambda$ giá trị định mức l1 có phương sai thấp hơn là $\lambda$ các giá trị làm tăng chỉ tiêu l2 có phương sai thấp hơn.

Như bạn có thể thấy trong hình ảnh, alpha là hệ số chính quy. tại$\alpha = 1e-15$tương ứng, chúng ta thấy sự khác biệt lớn giữa các hệ số hồi quy Rigde, nhưng, khi alpha làm tăng độ lệch trong sườn núi giảm mạnh. nhưng khi$\alpha = 10$cả Lasso và sườn núi đều có phương sai thấp hơn. Vì vậy, khi alpha giảm phương sai của sườn núi tăng mạnh.

PS: Tôi đã thử nghiệm với thiết lập này nhiều lần và xu hướng là phù hợp.
Vì vậy, trả lời câu hỏi của bạn, phương sai sẽ tăng khi bạn chuyển từ L1 sang L2 thường xuyên (và quy mô tăng phụ thuộc vào$\lambda$ giá trị.)

tôi cũng đã thêm các sản phẩm chấm của $W$ vector.just để xem làm thế nào khác nhau $w$. các mục chéo là -ve có nghĩa là có rất nhiều sự khác biệt giữa$Ws$. điều này sẽ được mở rộng hơn nữa với các chi tiết chi tiết hơn.