Nhầm lẫn về vấn đề cảm biến nén

13

Tôi đọc một số tài liệu tham khảo bao gồm cả điều này .

Tôi hơi bối rối không biết vấn đề tối ưu hóa đã được xây dựng và cố gắng giải quyết. Là nó

\begin{array}{ll} minimize & ‖ x ‖_{1} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_1\\ \text{subject to} & Ax=b\end{array}$

hoặc và

\begin{array}{ll} minimize & ‖ x ‖_{0} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_0\\ \text{subject to} & Ax=b\end{array}$

hoặc / và cái gì khác?

optimization

— Tim
nguồn

18

Brian là tại chỗ. Nhưng tôi nghĩ sẽ hữu ích khi thêm một số bối cảnh cảm biến nén.

Đầu tiên, lưu ý rằng cái gọi là 0 Norm $\|x\|_0$ Hàm số cardinality hoặc số lượng giá trị khác không trong $x$ Siêuis không phải là một định mức . Có lẽ tốt nhất là viết nó như một cái gì đó giống như $\mathop{\textbf{card}}(x)$ trong bất cứ điều gì ngoại trừ các bối cảnh thông thường nhất. Đừng hiểu sai ý tôi, bạn ở trong một công ty tốt khi bạn sử dụng tốc ký $\|x\|_0$ , nhưng tôi nghĩ nó có xu hướng gây nhầm lẫn.

Mọi người đã biết từ lâu rằng việc giảm thiểu định mức có xu hướng tạo ra các giải pháp thưa thớt. Có một số lý do lý thuyết cho việc này phải làm với sự bổ sung tuyến tính. Nhưng điều thú vị nhất không phải là các giải pháp còn thưa thớt, mà là chúng thường ít nhất có thể . Đó là, giảm thiểu thực sự mang đến cho bạn giải pháp cardinality tối thiểu trong một số trường hợp hữu ích nhất định. (Làm thế nào mà họ tìm ra điều này, khi vấn đề về tim mạch tối thiểu là NP-hard? Bằng cách xây dựng các vấn đề nhân tạo với các giải pháp thưa thớt đã biết.) Đây không phải là điều mà lý thuyết bổ sung tuyến tính có thể dự đoán. $\ell_1$ $\|x\|_1$ $\|x\|_1$

Lĩnh vực cảm biến nén được sinh ra khi các nhà nghiên cứu bắt đầu xác định các điều kiện trên ma trận sẽ cho phép họ đảm bảo trước rằng giải pháp cũng là ít nhất. Xem ví dụ, các bài báo sớm nhất của Candés, Romberg và Tao và các cuộc thảo luận khác về thuộc tính hình học bị hạn chế hoặc RIP . Một trang web hữu ích khác nếu bạn thực sự muốn đi sâu vào một số lý thuyết là trang cảm biến nén của Terence Tao . $A$ $\ell_1$

— Michael Grant
nguồn

12

Chúng tôi rất thích có thể giải quyết

$\min \| x \|_{0}$

thứ

$Ax=b$

nhưng vấn đề này là một vấn đề tối ưu hóa tổ hợp NP-Hard không thực tế để giải quyết trong thực tế khi , và có kích thước điển hình trong cảm biến nén. Có thể giải quyết hiệu quả $A$ $x$ $b$

$\min \| x \|_{1}$

thứ

$Ax=b$

cả về lý thuyết (nó có thể được thực hiện trong thời gian đa thức) và trong thực tiễn tính toán cho các vấn đề thậm chí khá lớn phát sinh trong cảm biến nén. Chúng tôi sử dụng dưới dạng "thay thế" cho . Điều này có một số biện minh trực quan (tối thiểu hóa một tiêu chuẩn thích các giải pháp có ít mục nhập khác hơn trong ), cũng như các biện minh lý thuyết phức tạp hơn nhiều (các định lý của biểu mẫu "Nếu có giải pháp thưa thớt thì tối thiểu hóa sẽ tìm giải pháp đó với xác suất cao. " $\| x \|_{1}$ $\| x \|_{0}$ $x$ $Ax=b$ $\| x \|_{1}$

Trong thực tế, vì dữ liệu thường ồn ào, ràng buộc chính xác thường được thay thế bằng một ràng buộc của biểu mẫu . $Ax=b$ $\| Ax - b \|_{2} \leq \delta$

Nó cũng khá phổ biến để làm việc với một dạng biến đổi của vấn đề bị ràng buộc, ví dụ như chúng ta có thể giảm thiểu . $\min \| Ax - b\|_{2}^{2} + \lambda \| x \|_{1}$

— Brian Borchers
nguồn

8

Tôi không có gì để thêm vào lời giải thích của Brians và Michaels về so với . Nhưng vì câu hỏi dường như là về Cảm biến nén, tôi muốn thêm quan điểm của mình: Cảm biến nén không phải là giải quyết hay về Cảm biến nén là một mô hình , có thể được nói rất đại khái là $\ell^1$ $\ell^0$

min ‖ x ‖_{0} s.t A x = b

$\min\|x\|_0\quad\text{s.t}\quad Ax=b$

min ‖ x ‖_{1} s.t. A x = b .

$\min\|x\|_1\quad\text{s.t.}\quad Ax=b.$

Có thể xác định tín hiệu thưa thớt từ một vài phép đo.

Cảm biến nén thực sự là thực hiện càng ít phép đo càng tốt để xác định tín hiệu trong một loại tín hiệu nhất định.

Một cụm từ lôi cuốn là:

Tại sao máy ảnh 5 megapixel của bạn thực sự đo được 15 triệu giá trị (ba cho mỗi pixel) khiến bạn mất 15 megabyte dữ liệu khi nó chỉ lưu trữ khoảng 2 megabyte (sau khi nén)?
Có thể đo 2 megabyte ngay lập tức?

Có nhiều khung khác nhau có thể:

đo tuyến tính
những cái không tuyến tính (ví dụ như những cái "không phas")
dữ liệu vectơ, dữ liệu ma trận / tenxơ
độ thưa thớt như số lượng không số không
độ thưa thớt như "thứ hạng thấp" hoặc thậm chí "độ phức tạp thấp").

Và cũng có nhiều phương pháp để tính toán các giải pháp thưa thớt như theo đuổi kết hợp (các biến thể như theo đuổi kết hợp trực giao (OMP), theo đuổi kết hợp trực giao thường xuyên (ROMP), CoSaMP) hoặc các phương pháp gần đây hơn dựa trên thuật toán chuyển tin nhắn .

Nếu một người xác định Cảm biến nén với chỉ - hoặc thiểu hóa, người ta sẽ bỏ lỡ rất nhiều tính linh hoạt khi xử lý các vấn đề thu thập dữ liệu thực tế. $\ell^1$ $\ell^0$

Tuy nhiên, nếu một người chỉ quan tâm đến việc có được các giải pháp thưa thớt cho các hệ thống tuyến tính, thì người ta sẽ làm một cái gì đó mà tôi gọi là tái cấu trúc thưa thớt .

— Dirk
nguồn

Cảm ơn! Bạn có thể định nghĩa lại các công thức sau đây trong công thức toán học: "Có thể xác định các tín hiệu thưa thớt từ một vài phép đo. Cảm biến nén thực sự là thực hiện càng ít phép đo để xác định tín hiệu trong một loại tín hiệu nhất định."

— Tim

1

Không, tôi không thể, bởi vì Cảm biến nén không phải là một lý thuyết toán học mà là một khái niệm kỹ thuật.

— Dirk

1

Tôi nghĩ rằng câu trả lời này là một đóng góp tốt, và tôi đã bỏ phiếu. Tuy nhiên, đối với cụm từ lôi cuốn, tôi luôn gặp vấn đề với nó. Nó cho thấy CS mạnh đến mức bạn có thể vứt bỏ 13 triệu pixel và khôi phục lại hình ảnh. Nhưng không, bạn không bao giờ nên vứt bỏ dữ liệu một cách ngẫu nhiên, ngay cả trong hệ thống CS --- thuật toán phục hồi tốt luôn có thể sử dụng nhiều dữ liệu hơn. Lời hứa của CS là tiềm năng phát triển các cảm biến thu thập ít dữ liệu ngay từ đầu để đổi lấy một số khoản tiết kiệm thực tế quan trọng: tiết kiệm năng lượng, thu thập nhanh hơn, v.v.

— Michael Grant

@MichaelGrant Tôi đồng ý: Đừng vứt bỏ dữ liệu bạn đã đo và sử dụng ngày mà bạn có thể đo với nỗ lực tối thiểu.

— Dirk