Norms - Điều gì đặc biệt về

Một chỉ tiêu $L_1$ là duy nhất (ít nhất là một phần) vì $p=1$ nằm ở ranh giới giữa không lồi và lồi. Một chỉ tiêu $L_1$ là chỉ tiêu lồi 'thưa thớt nhất' (phải không?).

Tôi hiểu rằng chỉ tiêu Euclide $p=2$ có nguồn gốc từ hình học và nó có một sự giải thích rõ ràng khi các kích thước có cùng đơn vị. Nhưng tôi không hiểu tại sao nó được sử dụng tốt hơn các số thực khác $p>1$ : $p=1.5$ ? $p=\pi$ ? Tại sao không sử dụng phạm vi liên tục đầy đủ như một siêu tham số?

Tôi đang thiếu gì?

Một giải thích toán học hơn là không gian , bao gồm tất cả các chuỗi hội tụ theo chỉ tiêu p, chỉ có Hilbert với p = 2 và không có giá trị nào khác. Điều này có nghĩa là không gian này đã hoàn tất và định mức trên không gian đó có thể được tạo ra bởi một sản phẩm bên trong (nghĩ về sản phẩm chấm quen thuộc trong R n ), do đó, nó sẽ hoạt động tốt hơn một chút.$l^p$$p=2$$R^n$

Dưới đây là một vài lý do:

1. Nó liên quan theo một cách rất đặc biệt đến sản phẩm bên trong: đó là quy tắc kép của riêng nó (tức là "tự kép").
   Điều này có nghĩa là, nếu bạn xem xét tất cả các vectơ bên trong bóng đơn vị , sản phẩm bên trong tối đa của chúng với bất kỳ vectơ z nào là định mức ℓ 2 của chính z . Ít huyền ảo hơn, nó thỏa mãn tính chất ‖ x ‖ 2 2 = x ⋅ $\ell_2$$z$$\ell_2$$z$$\lVert x\rVert_2^2 = x \cdot x$ . Không khác chuẩn mực hành xử theo cách này.$\ell_p$

2. Nó có một rất dốc thuận tiện mịn: Bạn thực sự không thể đánh bại đó!

   $$\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$$

Mặc dù có thể có nhiều lý do hơn nhưng AFAIK p = 2 được ưa thích vì các lý do sau:

• Đo lường mức độ tương đồng / khác biệt: Với p = 2, chỉ tiêu Euclide đưa ra thước đo về sự tương đồng hoặc khác biệt giữa hai vectơ mà sau đó có thể được sử dụng để hiểu rõ hơn về dữ liệu. Câu trả lời chi tiết hơn về điều này có thể được tìm thấy ở đây .
• Chính quy hóa: Định mức L2 được sử dụng để chính quy hóa trong học máy và được ưa thích vì hai lý do- 1) Dễ dàng phân biệt 2) Với chính quy L2, các trọng số có xu hướng giảm tỷ lệ thuận với các trọng số. Do đó, chính quy L2 xử phạt các trọng số lớn hơn nhiều so với các trọng số nhỏ hơn.

Lỗi bình phương trong các mô hình tuyến tính thường được ưa thích vì:

• mối quan hệ với tính trực giao, hành xử tốt đối với một số hiện tượng ngẫu nhiên được coi là tiếng ồn (không tương quan)
• nó lồi và khác biệt, không phải $L_1$
• nó mang lại các thuật toán tối ưu hóa có thể điều khiển được khi đạo hàm biến thành các hệ tuyến tính

thường được xem như là một proxy thuận tiện hoặc thư giãn lồi đến thưa thớt nghiêm ngặt (tính của khác không điều kiện) được combinatorially phức tạp, xem ví dụĐối với hầu hết các hệ Underdetermined lớn của phương trình tuyến tính các Minimal ℓ 1 -norm Giải pháp cũng là Giải pháp thưa thớt nhất. Một số xu hướng sử dụng ℓ p , 0 < p < $L_1$$\ell_1$$\ell_p$$0<p<1$ để thực thi độ thưa thớt hơn, với chi phí "mất" lồi.

$\ell_0$$\ell_0$$0$$\ell_p$$1$$\ell_p \to \ell_0$$p\to 0$ , sự khác biệt này dường như là một khoảng cách với tôi.

$\ell_1 / \ell_2$$\ell_1 / \ell_2$