Khi nào nên sử dụng bổ đề Johnson-Lindenstrauss trên SVD?

Bổ đề Johnson-Lindenstrauss cho phép người ta biểu diễn các điểm trong không gian chiều cao thành các điểm ở chiều thấp hơn. Khi tìm các không gian chiều thấp hơn phù hợp nhất, một kỹ thuật tiêu chuẩn là tìm phân tách giá trị số ít và sau đó lấy không gian con được tạo bởi các giá trị số ít lớn nhất. Khi nào nên sử dụng Johnson-Lindenstrauss trên SVD?

machine-learning

— người dùng09128323
nguồn

Câu trả lời:

Hai cách tiếp cận cung cấp đảm bảo rất khác nhau.

Bổ đề JL nói về cơ bản là "bạn đưa cho tôi lỗi bạn muốn và tôi sẽ cung cấp cho bạn một không gian chiều thấp để ghi lại khoảng cách cho đến lỗi đó". Đây cũng là một bảo đảm cặp đôi trong trường hợp xấu nhất : cho mỗi cặp điểm , v.v.

Về cơ bản, SVD hứa hẹn "bạn cho tôi biết bạn muốn sống ở chiều nào và tôi sẽ cho bạn khả năng nhúng tốt nhất có thể", trong đó "tốt nhất" được định nghĩa là trung bình : tổng sai số tương tự thực so với tương tự dự kiến là tối thiểu.

Vì vậy, từ góc độ lý thuyết, họ giải quyết các vấn đề rất khác nhau. Trong thực tế, cái nào bạn muốn phụ thuộc vào mô hình của bạn cho vấn đề, tham số nào quan trọng hơn (lỗi hoặc kích thước) và loại đảm bảo bạn cần.

— Suresh Venkat
nguồn

Ai đó có thể cho tôi biết chính xác

thu được trong (1-eps) | uv | ^ 2 <= | f (u) -f (v) | ^ 2 <= (1 + eps) | uv | ^ 2 (từ en.wikipedia.org/wiki/Johnson%E2%80%93Lindenstrauss_lemma )?

f (\cdot)

$f(\cdot)$

— T ....

Đó là một câu hỏi hoàn toàn khác. Nhưng trong (rất) ngắn gọn, nếu bạn lấy một ma trận

và điền nó với các mục được rút ra từ một tiêu chuẩn thông thường, thì

được định nghĩa là

A

$A$

f (x)

$f(x)$

A x

$Ax$

— Suresh Venkat

Có một sơ đồ JL cho các trường hữu hạn trong đó độ méo trong chỉ số Hamming không? Nếu vậy, thì điều gì sẽ

có mặt ở đây?

f

$f$

— T ....

Bạn không thể thực hiện việc giảm kích thước này một cách hiệu quả cho số liệu Hamming. Các

cấu trúc là rất khác nhau. Trong một ý nghĩa rất khéo léo, thừa nhận việc giảm kiểu JL có liên quan đến việc sống trong một không gian Hilbert.

ℓ_{1}

$\ell_1$

— Suresh Venkat

SVD và JL cũng ngoại suy các điểm tương lai khác nhau.

Đó là, nếu bạn cho rằng dữ liệu của bạn đến từ một số phân phối cơ bản, về nguyên tắc, SVD sẽ vẫn "tốt" cho bất kỳ điểm nào trong tương lai miễn là chúng được lấy mẫu từ cùng một phân phối. Mặt khác, thứ nguyên mục tiêu của JL phụ thuộc vào số điểm, nghĩa là áp dụng biến đổi JL cho các điểm bổ sung có thể làm tăng xác suất lỗi.

Điều này trở nên có liên quan nếu, ví dụ, nếu bạn đang sử dụng giảm kích thước làm bước tiền xử lý cho một số thuật toán khác. Giới hạn SVD cho dữ liệu đào tạo có thể giữ dữ liệu thử nghiệm, nhưng JL thì không.

— Frumple
nguồn

Đây là một điểm rất tốt.

— Paul Siegel

Đây là phần tiếp theo cho câu trả lời của Suresh - tôi đã googled một chút sau khi đọc câu trả lời của anh ấy, và đưa ra cách hiểu sau đây. Ban đầu tôi định đăng bài này như một bình luận cho câu trả lời của anh ấy, nhưng nó vẫn tiếp tục tăng lên.

Vui lòng chỉ ra lỗi trong câu trả lời, tôi không phải là chuyên gia trong lĩnh vực này.

Ở một khía cạnh nào đó, JL và SVD giống như táo và cam.

1) Các vấn đề họ giải quyết hoàn toàn khác nhau. Một là quan tâm đến khoảng cách cặp, cái còn lại với đại diện tốt nhất. Một là trường hợp xấu nhất, hai là trường hợp trung bình.

\begin{matrix} (1) & tranh luận \underset{P}{tối thiểu} {\underset{bạn, v}{bữa tối} (| 1 - \frac{| | P bạn - P v | |_{2}}{| | bạn - v | |_{2}} |)} \end{matrix}

$\arg\min\limits_{P} \left\{\sup\limits_{u,v} \left(\Biggl\lvert 1- \frac{||Pu-Pv||_2}{||u-v||_2} \Biggl\rvert \right) \right\} \tag{1}$

(Điều này không chính xác, tôi sẽ bình luận thêm về điều này sau)

$k$

tranh luận \underset{P của k}{tối thiểu} {Trung bình (| | bạn - P bạn | |_{2})}

$\arg\min\limits_{P\text{ of dim k}} \left\{\text{Avg}\left(||u-Pu||_2\right)\right\}$

$\epsilon$

3) JL không mang tính xây dựng, SVD mang tính xây dựng - điểm này hơi mơ hồ, vì thuật ngữ mang tính xây dựng không được xác định chính xác. Có các thuật toán xác định để tính toán SVD, nhưng thuật toán tìm không gian JL là một thuật toán ngẫu nhiên - thực hiện các phép chiếu ngẫu nhiên, nếu bạn thất bại, hãy thử lại.

$\epsilon$

(Xem bình luận để giải thích về các phần nổi bật của câu trả lời).

Chỉnh sửa: @ john-myles-white đã viết một bài về JL để xác minh các khiếu nại của mình và cho biết cách chiếu có thể được xây dựng: http://www.johnmstylewhite.com/notebook/2014/03/24/a-note- trên-the-johnson-lindenstrauss-bổ đề /

— elexhulk
nguồn

Có một số lỗi trong câu trả lời của bạn. (1) JL cực kỳ mang tính xây dựng: có tất cả các loại thuật toán để xây dựng ánh xạ (2) nó không bảo toàn sự khác biệt nhưng sự khác biệt tương đối (tỷ lệ) (3) bổ đề JL đã bị khử từ (4) JL hoạt động đối với bất kỳ tập hợp vectơ nào: việc xây dựng độc lập với đầu vào thực tế. thông tin duy nhất cần thiết là số lượng vectơ.

— Suresh Venkat

Cảm ơn Suresh. Tôi đã kết hợp tất cả ngoại trừ đề xuất cuối cùng của bạn. Hãy chỉnh sửa câu trả lời thêm. Về điểm cuối cùng, tôi bối rối. Bạn đang nói cùng một bản đồ sẽ hoạt động bất kể tôi đặt cho bạn những vectơ nào?

— elexhulk

Đó là một điểm hơi tinh tế. Khi bạn sửa lỗi và số lượng vectơ, có một phân phối xác suất cố định trên bản đồ sẽ hoạt động với xác suất cao cho bất kỳ tập hợp vectơ nào. Tất nhiên không có bản đồ tuyến tính cố định xác định thỏa mãn tính chất này.

— Sasho Nikolov

Thật đáng để kiểm tra việc thực hiện scikit-learn

— KLDavenport

0

$0$

1

$1$

1

$1$