Tương tự của cảm biến nén

$x \in \mathbb{R}^n$A $\|x\|_0 < k$$Ax$$A$$R$$n$$R \ll n$$A$$k$-spely $x$ với $R$ nhỏ như $O(k n^{o(1)})$ . Tôi có thể không có các tham số được biết đến nhiều nhất nhưng đây là ý tưởng chung.

Câu hỏi của tôi là: có hiện tượng tương tự trong các cài đặt khác không? Ý tôi là tín hiệu đầu vào có thể đến từ một số "họ có độ phức tạp thấp" theo một thước đo độ phức tạp không nhất thiết là độ thưa. Sau đó, chúng tôi muốn các thuật toán nén và giải nén, không nhất thiết phải là bản đồ tuyến tính, hiệu quả và chính xác. Là kết quả như vậy được biết đến trong một bối cảnh khác nhau? Bạn đoán gì về một lý thuyết "tổng quát" hơn về cảm biến nén?

(Tất nhiên, trong các ứng dụng của cảm biến nén, tuyến tính và độ thưa thớt là những vấn đề quan trọng. Câu hỏi tôi đặt ra ở đây là "triết học" hơn.)

Câu hỏi của bạn giải quyết vấn đề khôi phục "chính xác" (chúng tôi muốn khôi phục một k-thưa chính xác cho ). Mặc dù sau đây tôi sẽ tập trung vào phiên bản "mạnh mẽ", trong đó là một vectơ tùy ý và mục tiêu của thuật toán khôi phục là tìm một xấp xỉ xx đến (sự khác biệt này thực sự quan trọng đối với một số cuộc thảo luận dưới đây ). Chính thức bạn muốn theo dõi vấn đề (gọi nó là ):Một x x k x ' x P $x$$Ax$$x$$k$$x'$$x$$P_1$

Thiết kế sao cho bất kỳ nào cũng có thể phục hồi trong đó x x ' ‖ x - x ' ‖ L$A$$x$$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ , trong đó nằm trên tất cả các vectơ k- thưa.$x"$$k$

Đây, $\| \cdot \|_L$ và $\| \cdot \|_R$ biểu thị định mức trái và phải và $C$ là "hệ số gần đúng". Có nhiều sự lựa chọn khác nhau cho $\| \cdot \|_L$ và $\| \cdot \|_R$ . Để cụ thể, người ta có thể nghĩ rằng cả hai đều bằng $\ell_2$ hoặc $\ell_1$ ; nó có thể trở nên lộn xộn hơn mặc dù.

Bây giờ đến một số tương tự và khái quát.

Cơ sở tùy tiện. Đầu tiên, hãy quan sát rằng bất kỳ sơ đồ nào thỏa mãn định nghĩa trên đều có thể được sử dụng để giải quyết vấn đề tổng quát hơn, trong đó tín hiệu thu hồi là thưa thớt trong một cơ sở tùy ý (giả sử, wavelet của Fourier), không chỉ là tiêu chuẩn. Gọi là ma trận cơ sở. Chính thức, một vectơ là thưa trong cơ sở nếu trong đó là thưa. Bây giờ chúng ta có thể xem xét vấn đề tổng quát (gọi nó là ): B u k B u = B v v k P $x'$$B$$u$$k$$B$$u=Bv$$v$$k$$P_B$

Thiết kế sao cho , người ta có thể khôi phục trong đóMột B x x ' ‖ x - x ' ‖ L$A_B$$A_B x$$x'$$\|x-x'\|_L \le$

x " k $\min_{x"} C \|x-x"\|_R$ , nơi dải khắp vectơ mà -sparse trong .$x"$$k$$B$

Người ta có thể giảm vấn đề này thành vấn đề trước đó bằng cách thay đổi cơ sở, tức là sử dụng ma trận đo . Nếu chúng tôi có giải pháp cho theo định mức (nghĩa là các chỉ tiêu bên trái và bên phải bằng ), chúng tôi cũng nhận được một giải pháp cho theo định mức . Nếu sử dụng các định mức khác, chúng tôi sẽ giải quyết theo các định mức đó được sửa đổi bằng cách thay đổi cơ sở.Một B = A B - 1 P 1 ℓ 2 ℓ 2 P B ℓ 2 P 1 P $P_1$$A_B = A B^{-1}$$P_1$$\ell_2$$\ell_2$$P_B$$\ell_2$$P_1$$P_B$

Một lưu ý ở trên là trong cách tiếp cận trên, chúng ta cần biết ma trận để xác định . Có lẽ đáng ngạc nhiên, nếu chúng ta cho phép ngẫu nhiên ( không cố định mà thay vào đó lựa chọn một cách ngẫu nhiên), người ta có thể chọn từ một phân phối cố định đó là độc lập với . Đây là cái gọi là tài sản phổ quát .A B A B A B$B$$A_B$$A_B$$A_B$$B$

Từ điển. Tổng quát hóa tiếp theo có thể thu được bằng cách bỏ yêu cầu là cơ sở. Thay vào đó, chúng ta có thể cho phép có nhiều hàng hơn các cột. Ma trận như vậy được gọi là từ điển (quá đầy đủ). Một ví dụ phổ biến là ma trận danh tính trên đầu ma trận Fourier. Một ví dụ khác là một ma trận trong đó các hàng là các vectơ đặc trưng của tất cả các khoảng trong {1 ... n}; trong trường hợp này, tập { } chứa tất cả " -histograms", nghĩa là, các hàm hằng số piecewise trên {1 ... n} với tối đa phần.B B u : u là k-thưa k $B$$B$$Bu: \mbox{u is k-sparse}$$k$$k$

Theo như tôi biết thì không có lý thuyết chung cho những từ điển độc đoán như vậy, mặc dù đã có một lượng công việc khá lớn về chủ đề này. Xem ví dụ, Candes-Eldar-Needell'10 hoặc Donoho-Elad-Temlyakov, Giao dịch của IEEE về Lý thuyết thông tin, 2004 .

Phác thảo cho biểu đồ đã được nghiên cứu rộng rãi trong các tài liệu phát trực tuyến và cơ sở dữ liệu, ví dụ, Gilbert-Guha-Indyk-Kotidis-Muthukrishnan-Strauss, STOC 2002 hoặc Thaper-Guha-Indyk-Koudas, SIGMOD 2002 .

Mô hình. (cũng được đề cập bởi Arnab). Một khái quát khác nhau là giới thiệu các hạn chế về các mẫu thưa thớt. Đặt là tập con của -subets của {1 ... n}. Chúng ta nói rằng là -sparse nếu sự hỗ trợ của được bao gồm trong một phần tử của . Bây giờ chúng ta có thể đặt ra vấn đề (gọi nó là ):k u M u M P $M$$k$$u$$M$$u$$M$$P_M$

Thiết kế sao cho bất kỳ nào cũng có thể phục hồi trong đóx x ' ‖ x - x ' ‖ L$A$$x$$x'$$\|x-x'\|_L \le$

x " $\min_{x"} C \|x-x"\|_R$ , trong đó nằm trên tất cả các vectơ thưa.$x"$$M$

Ví dụ: các phần tử của có thể có dạng , trong đó mỗi tương ứng với một "khối con" của {1 ... n} có độ dài , tức là là dạng {jb + 1 ... (j + 1) b} cho một số . Đây là mô hình được gọi là "khối thưa thớt". tôi 1 ∪ ... ∪ tôi k tôi i b tôi i$M$$I_1 \cup \ldots \cup I_k$$I_i$$b$$I_i$$j$

Lợi ích của các mô hình là người ta có thể tiết kiệm được số lượng phép đo, so với phương pháp tiếp cận -sparsity chung . Điều này là do không gian của -sparse tín hiệu nhỏ hơn không gian của tất cả các tín hiệu -sparse, vì vậy ma trận nhu cầu để bảo tồn ít thông tin. Để biết thêm, xem Baraniuk-Cevher-Duarte-Hegde, Giao dịch của IEEE về Lý thuyết thông tin, 2010 hoặc Eldar-Mishali, Giao dịch của IEEE về Lý thuyết thông tin, 2009 .M k $k$$M$$k$$A$

Hi vọng điêu nay co ich.

Có một sự khái quát hóa của cảm biến nén đến cài đặt không giao hoán được gọi là hoàn thành ma trận . Trong cài đặt chính xác, bạn được cung cấp một ma trận M không xác định , thay vì thưa thớt, được biết là có thứ hạng thấp r ≪ m , n . Mục tiêu của bạn là xây dựng lại các giá trị số r và vectơ số ít của ma trận này bằng cách chỉ lấy mẫu các hệ số ˜ O ( r m + r n ) của ma trận, thay vì O ( m n ) như yêu cầu trong trường hợp xấu nhất. $m \times n$$M$$r \ll m,n$$r$$\tilde{O}(rm+rn)$$O(mn)$

Nếu các vectơ số ít đủ "không liên tục" (đại khái, không liên kết quá tốt) với cơ sở bạn đang lấy mẫu các phần tử ma trận, thì bạn có thể thành công với xác suất cao bằng cách giải một chương trình lồi, tương tự như cảm biến nén tiêu chuẩn. Trong trường hợp này, bạn phải giảm thiểu chỉ tiêu Schatten 1, tức là tổng các giá trị số ít.

Vấn đề này cũng có rất nhiều ứng dụng, ví dụ, để đưa ra khuyến nghị về sách cho khách hàng của một cửa hàng sách trực tuyến từ việc chỉ biết một vài xếp hạng mà các khách hàng khác đã tạo ra. Trong bối cảnh này, các hàng và cột của được dán nhãn tương ứng bởi sách và khách hàng. Một số yếu tố ma trận có thể nhìn thấy là xếp hạng của khách hàng về những cuốn sách họ đã mua trước đó. Ma trận M dự kiến ​​sẽ có thứ hạng thấp vì chúng tôi tin rằng thông thường chỉ có một vài yếu tố chính ảnh hưởng đến sở thích của chúng tôi. Bằng cách hoàn thành M , nhà cung cấp có thể đưa ra dự đoán chính xác về những cuốn sách bạn có thể muốn.$M$$M$$M$

Một khởi đầu tốt là bài báo này của Candés và Recht, Hoàn thành ma trận chính xác thông qua tối ưu hóa lồi . Ngoài ra còn có một khái quát thực sự thú vị, nơi bạn được phép lấy mẫu trong một cơ sở tùy ý cho không gian ma trận. Bài viết này của David Gross, Phục hồi ma trận thứ hạng thấp từ một số hệ số trong bất kỳ cơ sở nào sử dụng khái quát hóa này để đơn giản hóa đáng kể các bằng chứng về việc hoàn thành ma trận và đối với một số cơ sở, bạn cũng có thể loại bỏ giả định không liên quan. Bài báo đó cũng chứa các giới hạn tốt nhất cho đến nay về độ phức tạp lấy mẫu. Nghe có vẻ lạ khi lấy mẫu trong một cơ sở tùy ý, nhưng nó thực sự khá tự nhiên trong môi trường cơ học lượng tử, xem ví dụ bài báo này, Chụp cắt lớp trạng thái lượng tử thông qua cảm biến nén .

Có cảm biến nén dựa trên đa tạp, trong đó điều kiện thưa thớt được thay thế bằng điều kiện dữ liệu nằm trên một lớp con chiều thấp của không gian tự nhiên của tín hiệu. Lưu ý rằng độ thưa thớt có thể được gọi là nằm trên một đa tạp cụ thể (trên thực tế, một giống bí mật).

Xem, ví dụ bài báo này và các tài liệu tham khảo trong phần giới thiệu của nó. (Tôi thừa nhận không biết liệu bài báo này có đại diện cho khu vực hay không - Tôi quen thuộc hơn với chủ đề liên quan của các phân loại dựa trên đa tạp a la Niyogi-Smale-Weinberger .)

Tôi cho rằng, ở mức độ tổng quát mà tôi đã đặt ra câu hỏi, bài báo "Nén các nguồn có thể lấy mẫu" của Trevisan, Vadhan và Zuckerman (2004) cũng đủ điều kiện là một câu trả lời có thể. Chúng cho thấy rằng trong nhiều trường hợp, nếu nguồn của chuỗi đầu vào có độ phức tạp thấp (ví dụ, có thể lấy mẫu bằng máy logspace), thì người ta có thể nén và giải nén, trong thời gian đa thức để kéo dài hằng số phụ gia ra khỏi entropy của nguồn.

Tôi thực sự không biết mặc dù nếu cảm biến nén có thể được đưa vào một số lý thuyết nén lớn hơn.

Một điểm tương tự của cảm biến nén là trong học máy khi bạn cố gắng ước tính một vectơ trọng lượng cao (ví dụ: trong phân loại / hồi quy) từ một cỡ mẫu rất nhỏ. Để đối phó với các hệ thống phương trình tuyến tính chưa được xác định trong các cài đặt như vậy, người ta thường thực thi độ thưa thớt (thông qua hình phạt l0 hoặc l1) trên vectơ trọng số đang học. Để xem kết nối, hãy xem xét vấn đề phân loại / hồi quy sau từ học máy:

Biểu diễn N ví dụ về kích thước D mỗi chiều (D >> N) dưới dạng ma trận NxD X. Biểu diễn các phản ứng N (mỗi ví dụ) dưới dạng vectơ Nx1 Y. Mục tiêu là giải một vectơ Dx1 thông qua phương trình sau : Y = X * theta

Bây giờ đây là sự tương tự của vấn đề này với cảm biến nén (CS): bạn muốn ước tính / đo theta là một vectơ D (gần giống với "tín hiệu" không xác định trong CS). Để ước tính điều này, bạn sử dụng ma trận X (gần giống với ma trận thiết kế trong CS) và N 1-D đo Y (gần giống với tín hiệu nén trong CS, vì D >> N).

Xem: http://www.damtp.cam.ac.uk/user/na/people/Anders/Inf_CS43.pdf