Tại sao tổn thất định mức L2 có một giải pháp duy nhất và tổn thất định mức L1 có thể có nhiều giải pháp?

http://www.chioka.in/differences-b between-l1-and-l2-as-loss-feft-and-THERization/

Nếu bạn nhìn vào đầu bài này, người viết đề cập rằng định mức L2 có một giải pháp duy nhất và định mức L1 có thể có nhiều giải pháp. Tôi hiểu điều này về mặt chính quy hóa, nhưng không phải là về việc sử dụng định mức L1 hoặc định mức L2 trong hàm mất mát.

Nếu bạn nhìn vào biểu đồ các hàm của vô hướng x (x ^ 2 và | x |), bạn có thể dễ dàng thấy cả hai có một giải pháp duy nhất.

Chúng ta hãy xem xét một vấn đề một chiều cho giải trình đơn giản nhất có thể. (Trường hợp chiều cao hơn có tính chất tương tự.)

Trong khi cả hai và ( x - μ ) 2 mỗi cái có một mức tối thiểu duy nhất, ∑ i | x i - L | thường không. Xét x 1 = 1 và x 2 = 3 :$|x-\mu|$$(x-\mu)^2$$\sum_i |x_i-\mu|$$x_1=1$$x_2=3$

(NB mặc dù nhãn trên trục x, đây thực sự là một chức năng của ; Tôi nên sửa đổi nhãn nhưng tôi sẽ để nguyên như vậy)$\mu$

$L_1$

$\sum_i (x_i-\mu)^2 = n(\bar{x}-\mu)^2+k(\mathbf{x})$

$L_1$

Vì (bên ngoài một số trường hợp cụ thể) bạn thường không có bất kỳ sự đảm bảo nào như vậy về việc không có các quan sát có ảnh hưởng lớn, tôi sẽ không gọi hồi quy L1 là mạnh mẽ.

Mã R cho âm mưu:

 fi <- function(x,i=0) abs(x-i)
 f <- function(x) fi(x,1)+fi(x,3)
 plot(f,-1,5,ylim=c(0,6),col="blue",lwd=2)
 curve(fi(x,1),-1,5,lty=3,col="dimgrey",add=TRUE)
 curve(fi(x,3),-1,5,lty=3,col="dimgrey",add=TRUE)

Giảm thiểu tổn thất L2 tương ứng với việc tính trung bình số học, không rõ ràng, trong khi giảm thiểu tổn thất L1 tương ứng với việc tính toán trung vị, điều này không rõ ràng nếu một số phần tử chẵn được đưa vào tính toán trung bình (xem Xu hướng trung tâm: Giải pháp cho các vấn đề trung bình ).