Là dự đoán ngẫu nhiên, nghiêm túc, nói đúng không phải là một phép chiếu?

10

Các triển khai hiện tại của thuật toán Chiếu ngẫu nhiên làm giảm tính chiều của các mẫu dữ liệu bằng cách ánh xạ chúng từ $\mathbb R^d$ đến $\mathbb R^k$ bằng ma trận chiếu $d\times k$ $R$ có các mục nhập là iid từ một phân phối phù hợp (ví dụ từ $\mathcal N(0,1)$ ):

$x^\prime = \frac{1}{\sqrt k}xR$

Thuận tiện, bằng chứng lý thuyết tồn tại cho thấy rằng ánh xạ này duy trì khoảng cách cặp đôi.

Tuy nhiên, gần đây tôi đã tìm thấy những ghi chú trong đó tác giả tuyên bố rằng ánh xạ này với ma trận ngẫu nhiên không phải là một phép chiếu theo nghĩa đại số tuyến tính nghiêm ngặt của từ này (trang 6). Từ các giải thích được đưa ra, điều này là do các cột của $R$ không trực giao nghiêm ngặt khi các mục nhập của nó được chọn độc lập từ $\mathcal N(0,1)$ . Do đó, các phiên bản trước của RP nơi tính trực giao của các cột của $R$ được thi hành có thể được coi là một phép chiếu.

Bạn có thể đưa ra lời giải thích chi tiết hơn về (1) định nghĩa của phép chiếu theo nghĩa chặt chẽ này là gì và (2) tại sao RP không phải là phép chiếu theo định nghĩa này?

— Daniel López
nguồn

1

Bạn có thể tìm thấy câu trả lời cho (1) bằng cách tìm kiếm trang web của chúng tôi . Sự khẳng định (2) là ngay lập tức bởi vì nếu các cột đã luôn luôn trực giao, các mục của họ không thể được độc lập.

— whuber

4

Định nghĩa của một phép chiếu theo nghĩa chặt chẽ (đại số tuyến tính) này (của từ) là gì

https://en.wikipedia.org/wiki/Projection_(linear_acheebra)

Trong đại số tuyến tính và phân tích chức năng, một dự báo là một sự biến đổi tuyến tính $P$ từ một không gian vector cho chính nó mà $P^2 = P$ . Nghĩa là, bất cứ khi nào $P$ được áp dụng hai lần cho bất kỳ giá trị nào, nó sẽ cho kết quả tương tự như khi nó được áp dụng một lần (idempotent).

Đối với phép chiếu trực giao hoặc phép chiếu vector bạn có

https://en.wikipedia.org/wiki/Projection_(linear_acheebra)

Một phép chiếu trực giao là một phép chiếu trong đó phạm vi U và không gian V rỗng là không gian con trực giao.
Tại sao RP không phải là một phép chiếu theo định nghĩa này?

Michael Mahoney viết trong bài giảng của bạn lưu ý rằng nó phụ thuộc vào cách xây dựng RP , cho dù RP có phải là một phép chiếu theo nghĩa đại số tuyến tính truyền thống hay không. Điều này anh ta làm ở điểm thứ ba và thứ tư:

Thứ ba, nếu các vectơ ngẫu nhiên chính xác trực giao (vì chúng thực sự nằm trong các cấu trúc JL ban đầu), thì chúng ta sẽ có rằng phép chiếu JL là một phép chiếu trực giao

...

nhưng mặc dù điều này là sai đối với Gaussian, $\lbrace \pm \rbrace$ biến ngẫu nhiên và hầu hết các cấu trúc khác, người ta có thể chứng minh rằng các vectơ kết quả có độ dài xấp xỉ đơn vị và xấp xỉ trực giao

...

Đây là đủ tốt.

Vì vậy, về nguyên tắc, bạn có thể thực hiện phép chiếu ngẫu nhiên với một cấu trúc khác được giới hạn trong các ma trận trực giao (mặc dù không cần thiết). Xem ví dụ công việc ban đầu:

Johnson, William B. và Joram Lindenstrauss. "Phần mở rộng của ánh xạ Lipschitz vào một không gian Hilbert." Toán học đương đại 26.189-206 (1984): 1.

... nếu người ta chọn ngẫu nhiên một phép chiếu trực giao bậc $k$ trên $l_2^n$

...

$Q$ $k$ $l_2^n$ $\sigma$ $O(n)$ $l_2^n$
$f : (O (n), σ) \to L (l_{2}^{n})$ $f: (O(n), \sigma) \to L(l_2^n)$ $f (u) = U^{⋆} Q U$ $f(u) = U^\star Q U$ $k$

Mục nhập wikipedia mô tả phép chiếu ngẫu nhiên theo cách này (tương tự được đề cập trong phần ghi chú bài giảng ở trang 10 và 11)

https://en.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

$S^{d − 1}$

Nhưng bạn thường không có được tính trực giao này khi bạn lấy tất cả các mục nhập ma trận trong các biến ngẫu nhiên và độc lập của ma trận với một phân phối bình thường (như Whuber đã đề cập trong nhận xét của mình với một kết quả rất đơn giản "nếu các cột luôn luôn trực giao, các mục nhập của chúng có thể không được độc lập ").

$R$ $P = R^TR$ $b = R^T x$ $x' = Rb = R^TRx$ $R^TR$

$P=R^TR$ $U$

$range(P^T P)$ $\lbrace 0, 1 \rbrace$

^{$P$ $R$ $P = R^TR$ $R$}

Vì vậy, phép chiếu ngẫu nhiên theo các cấu trúc khác nhau, chẳng hạn như sử dụng các mục ngẫu nhiên trong ma trận, không chính xác bằng phép chiếu trực giao. Nhưng nó đơn giản hơn về mặt tính toán và theo Michael Mahoney, nó đủ tốt.

— Sextus Empiricus
nguồn

1

P = R R^{T}

$P = RR^T$

R \in R^{d \times k}

$R\in\mathbb R^{d\times k}$

N (0, 1)

$\mathcal N(0,1)$

P^{2} = P

$P^2 = P$

P

$P$

{0, 1}

$\{0,1\}$

R

$R$

R R^{T}

$RR^T$

R

$R$

1

@ DanielLópez Tôi đã cập nhật nó.

— Sextus Empiricus

6

Đúng vậy: "phép chiếu ngẫu nhiên" nói đúng ra không phải là phép chiếu.

$P$ $P^2 = P$

$d\times k$ $R$ $k\ll d$

$R$ $d\times k$ $U$

— amip nói phục hồi Monica
nguồn

3

Trong đoạn cuối của bạn, bạn nói rằng nếu các cột là trực giao thì phép chiếu vẫn không phải là phép chiếu theo nghĩa của phép chiếu trong đại số tuyến tính. Tuy nhiên, điều này chỉ là do ma trận không phải là ma trận vuông. Điều này là do ký hiệu nhiều hơn là do nguyên tắc. Nếu bạn mở rộng ma trận bằng 0 thì ma trận là hình chiếu tuyến tính.

— Sextus Empiricus 17/12/18

1

@MartijnWeterings Không, tôi không nghĩ vậy. Lấy không gian 2D và U là 1x2 và trông như thế này: [sqrt (2) / 2, sqrt (2) / 2] (tương ứng với hình chiếu trên đường chéo). Bây giờ mở rộng nó với số không. Nó sẽ không bằng bình phương của nó.

— amip nói rằng Phục hồi Monica

1

Nó nên được mở rộng một số cách khác, có thể được thực hiện

— kjetil b halvorsen 17/12/18

2

R (R^{T} R)^{- 1} R^{T}

$R (R^TR)^{-1}R^T$

I

$I$

U

$U$

P^{2} = P

$P^2=P$

— Sextus Empiricus 17/12/18

2

R

$R$

1

$d\times k$ $R$ $R$ $x\in \mathbb R^d$ $R$

$p = xR(R^TR)^{-1}R^T$ $p\in\mathbb R^d$

$R$ $R^TR = I\in \mathbb R^{k\times k}$ $x$ $R$

$p = xRR^T$ $p\in\mathbb R^d$

$RR^T\in\mathbb R^{d\times d}$ $(RR^T)^2=RR^TRR^T=RR^T$

$R$ $\mathbb R^k$ $\mathbb R^d$ $x\in\mathbb R^d$ $xRR^T$ $R$ $RR^T$

Tôi sẽ biết ơn nếu bạn có thể xác nhận / sửa chữa lý do của tôi ở đây.

Tài liệu tham khảo:

[1] http://www.dankalman.net/AUhome/groupes/groupesS17/linalg/projections.pdf

— Daniel López
nguồn

1

R (R^{T} R)^{- 1} R^{T}

$R(R^T R)^{-1} R^T$

1

R R^{T}

$RR^T$

R

$R$

2

R (R^{T} R)^{- 1} R^{T}

$R(R^TR)^{-1}R^T$

(R^{T} R)^{- 1} R^{T}

$(R^TR)^{-1}R^T$

R^{T}

$R^T$

R^{T}

$R^T$

β = (R^{T} R)^{- 1} R^{T} y

$\beta=(R^TR)^{-1}R^Ty$

β

$\beta$

\hat{y} = R (R^{T} R)^{- 1} R^{T} y

$\hat{y}=R(R^TR)^{-1}R^Ty$

β

$\beta$

-1

Nếu bạn sử dụng lật hoặc hoán vị dấu ngẫu nhiên có thể tính toán lại trước khi chuyển đổi Fast Walsh Hadamard, phép chiếu ngẫu nhiên là trực giao.

— Sean O'Connor
nguồn