Tại sao sử dụng chính quy L1 trên L2?


10

Tiến hành mô hình hồi quy tuyến tính bằng hàm mất, tại sao tôi nên sử dụng thay vì L 2 thường xuyên?L1L2

Có tốt hơn trong việc ngăn ngừa quá mức? Là nó có tính quyết định (vì vậy luôn luôn là một giải pháp duy nhất)? Có tốt hơn trong việc lựa chọn tính năng (bởi vì sản xuất các mô hình thưa thớt)? Liệu nó phân tán trọng lượng giữa các tính năng?


2
L2 không thực hiện lựa chọn biến, vì vậy L1 hoàn toàn tốt hơn ở đây.
Michael M

Câu trả lời:


5

Về cơ bản, chúng tôi thêm một thuật ngữ chính quy để ngăn các hệ số phù hợp hoàn hảo đến mức quá phù hợp.

Sự khác biệt giữa L1 ​​và L2 là L1 là tổng trọng số và L2 chỉ là tổng bình phương của các trọng số.

L1 không thể được sử dụng trong các cách tiếp cận dựa trên độ dốc vì nó không khác biệt với L2

L1 giúp thực hiện lựa chọn tính năng trong các không gian tính năng thưa thớt. Lựa chọn tính năng là để biết các tính năng nào hữu ích và dự phòng.

Sự khác biệt giữa các thuộc tính của chúng có thể được tóm tắt là:

l1 so với l2


Không phải là "L1 không thể được sử dụng trong các phương pháp dựa trên độ dốc". Máy ảnh hỗ trợ nó , ví dụ. Có, đạo hàm luôn luôn không đổi nên làm cho độ dốc giảm dần khó tìm ra mức tối thiểu. Nhưng chính quy hóa là một thuật ngữ nhỏ trong hàm mất mát, vì vậy nó không quan trọng lắm trong sơ đồ lớn của mọi thứ.
Ricardo Cruz

-1

L2 có một lợi thế rất quan trọng đối với L1 và đó là bất biến đối với phép quay và tỷ lệ.

Điều này đặc biệt quan trọng trong ứng dụng địa lý / vật lý.

Giả sử kỹ thuật viên của bạn vô tình cài đặt cảm biến của bạn trong thiên thần 45 độ, L1 sẽ bị ảnh hưởng, trong khi L2 (khoảng cách Euclide) sẽ giữ nguyên.


4
Đây hoàn toàn không phải là một câu trả lời cho câu hỏi.
kbrose

Bạn có thể giải thích sự bất biến, xin vui lòng?
aneesh joshi

@Chati, câu hỏi là về chính quy. Bạn đang nhầm lẫn nó với các cách sử dụng khác của 1-Norm và 2-Norm trong các hàm mất.
Ricardo Cruz
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.