Các chỉ tiêu là gì và chúng có liên quan như thế nào đến chính quy?

Gần đây tôi đã nhìn thấy rất nhiều bài báo về các biểu diễn thưa thớt và hầu hết trong số họ sử dụng định mức và thực hiện một số giảm thiểu. Câu hỏi của tôi là, định mức hỗn hợp và định mức hỗn hợp gì? Và làm thế nào chúng có liên quan đến chính quy?$\ell_p$$\ell_p$$\ell_{p, q}$

Cảm ơn

$\ell_p$ chỉ tiêu là các hàm lấy vectơ và trả về các số không âm. Chúng được định nghĩa là Trong trường hợp p = 2 , đây là gọi là định mức Euclide . Bạn có thể xác định khoảng cách Euclide là \ | \ vec x - \ vec y \ | _2 . Khi p = \ infty , điều này chỉ có nghĩa là \ | \ vec x \ | _ \ infty = \ sup_i x_i (hoặc \ max_i x_i ). Nói đúng ra, p phải có ít nhất một để \ | \ vec x \ | _p trở thành chuẩn . Nếu 0 <p <1 , thì \ | \ vec x \ | _p

$$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$$ $p=2$$\|\vec x - \vec y\|_2$$p = \infty$$\|\vec x\|_\infty = \sup_i x_i$$\max_i x_i$$p$$\|\vec x\|_p$$0 < p < 1$$\|\vec x\|_p$ không thực sự là một chuẩn mực, bởi vì các chỉ tiêu phải thỏa mãn bất đẳng thức tam giác.

(Ngoài ra còn có các chỉ tiêu , được định nghĩa một cách gián tiếp, ngoại trừ các hàm thay vì vectơ hoặc chuỗi - thực sự đây là điều tương tự, vì vectơ là các hàm có miền hữu hạn.)$L_p$

Tôi không biết về bất kỳ việc sử dụng nào cho một định mức trong ứng dụng học máy trong đó , ngoại trừ nơi . Thông thường bạn thấy hoặc , hoặc đôi khi trong đó bạn muốn thư giãn trường hợp ; không hoàn toàn lồi trong , nhưng là, cho . Điều này có thể làm cho việc tìm giải pháp "dễ dàng hơn" trong một số trường hợp nhất định.$p > 2$$p = \infty$$p = 2$$p = 1$$1 < p < 2$$p = 1$$\|\vec x\|_1$$\vec x$$\|\vec x\|_p$$1 < p < \infty$

Trong ngữ cảnh chính quy hóa, nếu bạn thêm vào hàm mục tiêu của mình, điều bạn đang nói là bạn mong đợi sẽ thưa thớt , nghĩa là, hầu hết được tạo thành từ các số không. Đó là một chút kỹ thuật, nhưng về cơ bản, nếu có một giải pháp dày đặc , có khả năng là một giải pháp sperer với cùng một tiêu chuẩn. Nếu bạn cho rằng giải pháp của mình dày đặc, bạn có thể thêm vào mục tiêu của mình, vì khi đó việc làm với đạo hàm của nó sẽ dễ dàng hơn nhiều. Cả hai đều phục vụ mục đích giữ cho giải pháp không có quá nhiều trọng lượng.$\|\vec x\|_1$$\vec x$$\|\vec x\|_2^2$

Định mức hỗn hợp xuất hiện khi bạn đang cố gắng tích hợp một số nguồn. Về cơ bản, bạn muốn vectơ giải pháp được tạo thành từ nhiều mảnh , trong đó là chỉ số của một số nguồn. Định mức chỉ là -norm của tất cả các -norms được thu thập trong một vectơ. Tức là,$\vec{x}^j$$j$$\ell_{p,q}$$q$$p$

$$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$$

Mục đích của việc này không phải là "quá mức" một tập hợp các giải pháp, bằng cách sử dụng . Các mảnh riêng lẻ rất thưa thớt, nhưng bạn không có nguy cơ làm hỏng cả vectơ giải pháp bằng cách lấy -orm của tất cả các giải pháp. Vì vậy, bạn sử dụng -norm ở bên ngoài thay thế.$\|\vec x\|_{1,2}$$1$$2$

Mong rằng sẽ giúp.

Xem bài viết này để biết thêm chi tiết.