Mối quan hệ cảm biến nén với L1 chính quy

Tôi hiểu rằng cảm biến nén tìm thấy giải pháp ít nhất cho trong đó , và , .

y = A x

$y = Ax$

x \in R^{D}

$x \in \mathbb{R}^D$

A \in R^{k \times D}

$A \in \mathbb{R}^{k \times D}$

y \in R^{k}

$y \in \mathbb{R}^{k}$

k << D

$k << D$

Bằng cách này, chúng ta có thể xây dựng lại (bản gốc) bằng cách sử dụng (nén), nhanh chóng hợp lý. Chúng tôi nói rằng là giải pháp ít nhất. Độ thưa thớt có thể được hiểu là -norm cho vectơ. $x$ $y$ $x$ $l_0$

Chúng ta cũng biết rằng -norm (có thể giải được bằng cách sử dụng lập trình tuyến tính) là một xấp xỉ tốt với -norm (vốn là NP-hard cho các vectơ lớn). Do đó cũng là giải pháp nhỏ nhất cho $l_1$ $l_0$ $x$ $l_1$ $Ax=y$

Tôi đã đọc rằng cảm biến nén tương tự như hồi quy với hình phạt lasso ( ). Tôi cũng đã thấy những diễn giải hình học về điều này, nhưng tôi đã không thực hiện kết nối về mặt toán học. $l_1$

Khác với việc giảm thiểu định mức , mối quan hệ (về mặt toán học) giữa nén và Lasso là gì? $l_1$

lasso sparse

— ilanman
nguồn

có liên quan: quora.com/ Quảng cáo

— Charlie Parker

theo hiểu biết của tôi Cảm biến nén là lĩnh vực nghiên cứu phục hồi Tín hiệu thưa thớt và Chính quy hóa L1 chỉ là một công thức cụ thể để giải quyết xấp xỉ.

— Charlie Parker

Về cơ bản không có sự khác biệt. Đó chỉ là thuật ngữ thống kê so với thuật ngữ của kỹ sư điện.

Cảm biến nén (chính xác hơn là theo đuổi cơ sở khử nhiễu [1]) là vấn đề này:

$\text{arg min}_x \frac{1}{2}\|Ax - b\| + \lambda \|x\|_1$

trong khi Lasso [2] là vấn đề này

$\text{arg min}_{\beta} \frac{1}{2}\|y - X\beta\| + \lambda \|\beta\|_1$

Vì có một sự khác biệt, đó là trong các ứng dụng Cảm biến nén, bạn (kỹ sư) phải chọn để "cư xử tử tế" trong khi đối với Lasso, bạn (nhà thống kê) không được chọn và phải đối phó với bất cứ dữ liệu nào (và chúng hiếm khi "đẹp" ...). Do đó, phần lớn các tài liệu Cảm biến nén tiếp theo đã tập trung vào việc chọn là "hiệu quả" nhất có thể, trong khi phần lớn các tài liệu thống kê tiếp theo đã tập trung vào các cải tiến cho Lasso vẫn hoạt động với "phá vỡ" Lasso. $A$ $X$ $A$ $X$

[1] SS Chen, DL Donoho, MA Saunders. "Phân rã nguyên tử bằng cơ sở theo đuổi." Tạp chí SIAM về tính toán khoa học 20 (1), tr.33-61, 1998. https://doi.org/10.1137/S1064827596304010

[2] R. Tibshirani "Thu hẹp và lựa chọn hồi quy thông qua lasso." Tạp chí của Hiệp hội Thống kê Hoàng gia: Sê-ri B 58 (1), tr.267 Tiết88, 1996. JSTOR 2346178.

— mweylandt
nguồn

nhưng thông thường cảm biến nén được gọi là sao cho . Điều đó có thực sự tương đương với min của nếu vậy tại sao và làm thế nào lambda rơi vào ảnh gốc?

m i n ‖ x ‖_{1}

$min \| x \|_1$

A x = b

$Ax=b$

‖ A x - b ‖ + λ ‖ x ‖_{1}

$\|Ax - b \| + \lambda \| x \|_1$

— Charlie Parker

Công thức mà bạn đưa ra (với ràng buộc về đẳng thức) là giới hạn của phạm vi trong một ý nghĩa là . Nó phát sinh khi bạn cho rằng không có tiếng ồn trong hệ thống (vì vậy, nó thường được gọi là cơ sở theo đuổi cơ sở trái ngược với cơ sở theo đuổi cơ sở khắt khe của phe Hồi giáo).

λ \to 0

$\lambda \to 0$

— mweylandt

một cái gì đó tôi bối rối là tôi mặc dù phù hợp với các phương pháp theo đuổi trong đó các thuật toán tham lam (khoảng) giải quyết . Tuy nhiên, tôi nghĩ các thuật toán ngưỡng mềm nơi giải quyết chính xác công thức thư giãn lồi . Vì vậy, nếu điều này là đúng, họ sẽ dẫn đến cùng một giải pháp? tức là có vẻ như Lasso và OM giải quyết cùng một vấn đề nhưng với một công thức rất khác nhau. Bất kỳ thuật toán nào cho LASSO đều mang lại cùng một giải pháp vì lồi của nó đặt nếu OM là thuật toán tham lam cho L0 thì tôi cho rằng chúng rất khác nhau. Thê nay đung không?

‖ X w - y ‖^{2} + λ ‖ w ‖_{0}

$\| Xw - y \|^2 + \lambda \| w \|_0$

‖ X w - y ‖^{2} + λ ‖ w ‖_{1}

$\| Xw - y \|^2 + \lambda \| w \|_1$

— Charlie Parker

Tôi nghĩ rằng điều này là đáng để hỏi trong một câu hỏi riêng biệt. Nói chung, không - các giải pháp L1 (lasso) và L0 (tập con tốt nhất) là khác nhau. Nhưng có những trường hợp được nghiên cứu kỹ lưỡng trong đó các phiên bản L0 và L1 của vấn đề theo đuổi cơ sở (không phải là theo đuổi cơ sở gây ồn ào) đưa ra giải pháp tương tự.

— mweylandt

Đây là câu hỏi khác: stats.stackexchange.com/questions/337113/iêu

— Charlie Parker