Ý nghĩa của thanh đôi và 2 ở dưới cùng trong bình phương tối thiểu thông thường là gì?

Tôi thấy ký hiệu này cho bình phương tối thiểu thông thường ở đây .

min_{w} {‖ X w - y ‖}_{2}^{2}

$\min_w \left\| Xw - y \right\|^2_2$

Tôi chưa bao giờ nhìn thấy các thanh đôi và 2 ở phía dưới. Các biểu tượng này có ý nghĩa gì? Họ có thuật ngữ cụ thể cho họ?

— Aseem Bansal
nguồn

Việc sử dụng các thanh đôi chỉ cho thấy rằng chúng ta đang sử dụng định mức L2.

— Michael R. Chernick

@MichaelCottaick và 2? Đó có phải là một phần của "định mức L2" không?

— Aseem Bansal

Vâng, giống như L2, cũng có L1.

— Jon

Tôi nghĩ nên là vì là một vectơ

X_{w}

$X_w$

X w

$Xw$

w

$w$

— ilanman

@ilanman Vâng, đó là những gì đã có trong ký hiệu trước khi chỉnh sửa. Tôi đã đổi lại

— Aseem Bansal

Bạn đang nói về -norm (chỉ tiêu Euclide) của vectơ ( ). Nếu điều này xa lạ với bạn, một thời gian ngắn, -norm của một vectơ , là: $\ell_2$ $Xw - y$ $\ell_p$ $u \in \mathbb{R}^{n}$

‖ u ‖_{p} = (\sum_{i = 1}^{n} | u_{i} |^{p})^{\frac{1}{p}}

$\|u\|_p = \big(\sum_{i=1}^{n} |u_i|^p\big)^{\frac1p}$

Vì vậy, trong trường hợp của bạn phù hợp với tổng số dư bình phương cho hồi quy tuyến tính. Trong bối cảnh của các vấn đề hồi quy, bạn cũng sẽ thấy điều này rất nhiều trong các phép tính sai số bình phương (MSE) và trong hồi quy sườn . $\|u\|_2^2 = (\big(\sum\limits_{i=1}^{n} |u_i|^2\big)^{\frac12})^2 = \sum\limits_{i=1}^{n} u_i^2$

Đây là một quy tắc chung (trong số các lý do khác, nó thuận tiện về mặt toán học), vì vậy khi rõ ràng từ ngữ cảnh, bạn sẽ thấy dưới bị bỏ qua và chỉ . $2$ $\|u\|^2$

Như đã đề cập trong các nhận xét, bạn cũng có thể thấy -norm: $\ell_1$

‖ u ‖_{1} = \sum_{i = 1}^{n} | u_{i} |

$\|u\|_1 = \sum_{i=1}^{n} |u_i|$

Mà tương ứng với giá trị tuyệt đối. Một lần nữa, bạn sẽ thấy điều này có nghĩa là lỗi tuyệt đối (MAE) hoặc các vấn đề về Lasso .

Các chỉ tiêu phổ biến khác:

-norm: Khoảng cách Hamming hoặc # của các số không trong một vectơ, tức là trong việc tính toán độ thưa của một vectơ. Về mặt kỹ thuật, đây không phải là một quy tắc (đó là một chức năng chính), bởi vì bạn có một thuật ngữ trong định nghĩa, nhưng nó có dạng một quy tắc nên chúng tôi gọi nó là một quy tắc.
- Định mức này là định mức lý tưởng được sử dụng trong việc tạo ra độ thưa cho các vấn đề hồi quy vì chúng tôi thực sự muốn loại bỏ các hệ số, tuy nhiên tính toán chính quy là NP-hard, vì vậy thay vào đó chúng tôi ước tính nó bằng có thể giải quyết được thông qua lập trình tuyến tính. Nó cũng phổ biến trong cảm biến nén . $\ell_0$ $\ell_1$
$\ell_{\infty}$ -norm: = gạch dưới cho $\underset{i} {\text{max}}$ $\{|x_i|\}$ $i = 1, ..., n$
$\|A\|_F$ : Frobenius (Euclide), được áp dụng cho ma trận $A \in \mathbb{R}^{n\times m} = \sqrt{\sum \limits_{i=1}^{n}\sum \limits_{j=1}^{m}|a_{ij}|^2}$

— ilanman
nguồn

Liên kết đến wolfram alpha thực sự hữu ích.

— Aseem Bansal

Bạn viết rằng (giả) mức đếm số zero trong một vector đã có lẽ bạn có nghĩa là số lượng không -zero mục? (Điều này sẽ phù hợp hơn với những gì tôi đã thấy và cũng có nghĩa là sẽ là khoảng cách Hamming giữa và , trái ngược với việc trừ khoảng cách.)

ℓ_{0}

$\ell_0$

‖ u ‖_{0}

$\lVert u \rVert_{0}$

u

$u$

0 \in R^{n}

$0 \in \mathbb R^n$

n

$n$

— wchargein

Lỗi chính tả: "Frobenius".

— hobbs

Thay vì "đây là một quy tắc chung" tôi sẽ chỉ nói "L2 là chuẩn mực";)

— user541686