Là kích thước t-sne có ý nghĩa?

Có bất kỳ ý nghĩa cho kích thước của nhúng t-sne? Giống như với PCA, chúng ta có ý thức tối đa hóa phương sai biến đổi tuyến tính nhưng đối với t-sne thì có trực giác bên cạnh không gian chúng ta xác định để ánh xạ và thu nhỏ khoảng cách KL không?

dimensionality-reduction tsne

— Nitro
nguồn

Không chắc chắn nếu điều này thực sự đạt được những gì bạn đang hỏi, nhưng tôi tin rằng kích thước của t-sne thực sự chỉ phụ thuộc vào sự phân tách của dữ liệu. Kích thước có thể thay đổi được cung cấp cùng một tập dữ liệu vì đây là một phép biến đổi phi tuyến tính. Vì vậy, kích thước chỉ có thể thực sự được diễn giải trong bối cảnh của một trường hợp cụ thể. Hãy cho tôi biết nếu tôi sai, đó là một câu hỏi thú vị.

— Hobbes

Có lẽ nó chỉ là nhàm chán cũ ℝ3?

— Nitro

Các kích thước của không gian chiều thấp không có ý nghĩa. Lưu ý rằng hàm mất t-SNE chỉ dựa trên khoảng cách giữa các điểm ( và ) và phân phối xác suất trên các khoảng cách đó ( và ): $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ C}{δ y_{Tôi}} = = 4 \underset{j}{Σ} (p_{Tôi j} - q_{Tôi j}) (y_{Tôi} - y_{j}) (1 + | | y_{Tôi} - y_{j} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Do đó, không có phép chiếu từ toàn bộ không gian chiều cao sang không gian chiều thấp, t-SNE chỉ tìm thấy ánh xạ từ một tập hợp các điểm chiều cao cụ thể đến một tập hợp các điểm chiều thấp cụ thể. Bởi vì không có chức năng từ không gian này sang không gian khác nên cũng không có ý nghĩa vốn có của các trục.

Những điều bạn có thể tưởng tượng để minh họa điều này:

Xoay hoặc dịch không gian chiều cao hoặc chiều thấp không ảnh hưởng đến khoảng cách giữa các điểm. Do đó, t-SNE không quan tâm đến việc xoay hoặc dịch trong cả hai không gian. Do đó, không có sự giải thích tuyệt đối của các trục.
Phân phối t-Student có đuôi béo. Điều này làm cho biểu diễn chiều thấp là bất biến đối với những thay đổi ở các điểm ở xa trong không gian chiều cao. Điều này cũng khiến cho các điểm ở xa trong không gian chiều cao có thể ở rất xa, rất xa hoặc thực sự rất xa trong không gian chiều thấp. Theo nghĩa này, nó kéo dài một số phần nhất định của các trục có chiều thấp (theo bất kỳ hướng tùy ý nào).

Điều đó đang được nói, t-SNE chủ yếu là một kỹ thuật trực quan và hiệu quả giảm kích thước của nó cho mục đích khác là không rõ ràng (có thể không phù hợp để phân cụm, trích xuất tính năng hoặc lựa chọn tính năng).

Ngoài ra: giấy .

— Thành phố
nguồn