Giải thích trực quan về cách UMAP hoạt động, so với t-SNE

Tôi có bằng tiến sĩ sinh học phân tử. Các nghiên cứu của tôi gần đây đã bắt đầu liên quan đến phân tích dữ liệu chiều cao. Tôi có ý tưởng về cách thức hoạt động của t-SNE (nhờ video StatQuest trên YouTube ) nhưng dường như tôi không thể nghĩ về UMAP (Tôi đã nghe cuộc nói chuyện của người tạo UMAP trực tuyến nhưng không dễ hiểu). Tôi đã trở lại bài báo gốc mô tả nó nhưng nó quá nhiều toán học đối với tôi.

Bất cứ ai có thể làm sáng tỏ về vấn đề này? Tôi đang tìm kiếm hoặc một lời giải thích trực quan, tương tự như video StatQuest liên kết ở trên.

Bạn nói rằng sự hiểu biết của bạn về t-SNE dựa trên https://www.youtube.com/watch?v=NEaUSP4YerM và bạn đang tìm kiếm một lời giải thích về UMAP ở cấp độ tương tự.

Tôi đã xem video này và nó khá chính xác trong những gì nó nói (tôi có một số nitpicks nhỏ, nhưng nhìn chung nó vẫn ổn). Hài hước lắm, nó gần như áp dụng cho UMAP như nó vốn có. Đây là những điều không áp dụng:

1. Điểm tương đồng được tính từ khoảng cách sử dụng hạt nhân khác nhau; nó không phải là Gaussian, nhưng nó cũng phân rã theo cấp số nhân và nó cũng có chiều rộng thích nghi, như trong t-SNE.
2. Điểm tương đồng không được bình thường đến tổng là 1, nhưng vẫn kết thúc bằng việc bình thường để tổng hợp một giá trị không đổi.
3. Điểm tương đồng được đối xứng, nhưng không chỉ bằng cách tính trung bình.
4. Hạt nhân tương tự trong không gian nhúng không phải là hạt nhân phân phối chính xác, mà là một hạt nhân rất giống nhau.

Tôi nghĩ rằng tất cả những khác biệt này không quan trọng lắm và không có kết quả. Phần thực sự quan trọng là phần trong video mà người kể chuyện nói (10m40s):

Chúng tôi muốn làm cho hàng này trông giống như hàng này [...]

Các video không giải thích cách định lượng t-SNE cho dù họ là tương tự hay không và làm thế nào nó đi vào việc đạt được rằng họ trông giống như. Cả hai phần đều khác nhau trong UMAP. Nhưng tuyên bố được trích dẫn cũng có thể áp dụng cho UMAP.

Cách viết bài UMAP, sự tương đồng về tính toán với t-SNE không rõ ràng lắm. Cuộn xuống Phụ lục C trong https://arxiv.org/pdf/1802.03426.pdf và / hoặc xem tại đây https://jlmelville.github.io/uwot/umap-for-tsne.html , nếu bạn muốn xem so sánh song song các tính toán mà tôi liệt kê ở trên và các hàm mất mát của t-SNE và UMAP.

Sự khác biệt chính giữa t-SNE và UMAP là việc giải thích khoảng cách giữa các đối tượng hoặc "cụm". Tôi sử dụng dấu ngoặc kép vì cả hai thuật toán không có nghĩa là phân cụm - chúng chủ yếu để trực quan hóa.

t-SNE bảo tồn cấu trúc cục bộ trong dữ liệu.

UMAP tuyên bố để bảo vệ cả hai địa phương và hầu hết các cấu trúc toàn cầu trong dữ liệu.

Điều này có nghĩa là với t-SNE, bạn không thể giải thích khoảng cách giữa các cụm A và B ở các đầu khác nhau của âm mưu của bạn. Bạn không thể suy ra rằng các cụm này khác nhau hơn A và C, trong đó C gần với A hơn trong cốt truyện. Nhưng trong cụm A, bạn có thể nói rằng các điểm gần nhau là các đối tượng giống nhau hơn các điểm ở các đầu khác nhau của hình ảnh cụm.

Với UMAP, bạn sẽ có thể diễn giải cả khoảng cách giữa / vị trí của các điểm và cụm.

Cả hai thuật toán đều rất ngẫu nhiên và phụ thuộc rất nhiều vào sự lựa chọn của siêu đường kính (t-SNE thậm chí nhiều hơn UMAP) và có thể mang lại kết quả rất khác nhau trong các lần chạy khác nhau, do đó, âm mưu của bạn có thể làm xáo trộn thông tin trong dữ liệu mà lần chạy tiếp theo có thể tiết lộ.

Tốt PCA cũ trên Mặt khác là xác định và dễ hiểu với kiến ​​thức cơ bản của đại số tuyến tính (nhân ma trận và eigenproblems), nhưng chỉ là một sự giảm tuyến tính trái ngược với giảm phi tuyến tính của t-SNE và UMAP.