Giải thích các bước của thuật toán LLE (nhúng tuyến tính cục bộ)?

Tôi hiểu nguyên tắc cơ bản đằng sau thuật toán cho LLE bao gồm ba bước.

Tìm vùng lân cận của từng điểm dữ liệu theo một số liệu như k-nn.
Tìm trọng số cho mỗi hàng xóm biểu thị hiệu ứng của hàng xóm đối với điểm dữ liệu.
Xây dựng việc nhúng chiều thấp của dữ liệu dựa trên trọng số tính toán.

Nhưng phần giải thích toán học của bước 2 và 3 khó hiểu trong tất cả các sách giáo khoa và tài nguyên trực tuyến mà tôi đã đọc. Tôi không thể lý do tại sao các công thức được sử dụng.

Làm thế nào là các bước được thực hiện trong thực tế? Có cách nào trực quan để giải thích các công thức toán học được sử dụng?

Tài liệu tham khảo: http://www.cs.nyu.edu/~roweis/lle/publications.html

— Người dùng1234321232
nguồn

Nhúng tuyến tính cục bộ (LLE) loại bỏ sự cần thiết phải ước tính khoảng cách giữa các đối tượng ở xa và phục hồi cấu trúc phi tuyến tính toàn cầu bằng cách khớp tuyến tính cục bộ. LLE là lợi thế vì nó không liên quan đến các tham số như tỷ lệ học tập hoặc tiêu chí hội tụ. LLE cũng có quy mô tốt với chiều hướng nội tại của $\mathbf{Y}$ . Hàm mục tiêu cho LLE là

ζ (Y) = (Y - W Y)^{2} = Y^{⊤} (I - W)^{⊤} (I - W) Y

$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$ Ma trận trọng số

W

$\mathbf{W}$ phần tử

w_{i j}

$w_{ij}$ cho các đối tượng

i

$i$ và

j

$j$ được đặt thành 0 nếu

không phải là hàng xóm gần nhất của

, nếu không, trọng số của K- Hàng xóm gần nhất của đối tượng

được xác định thông qua một bình phương tối thiểu phù hợp với trong đó biến phụ thuộc là một

vectơ của những người,

j

$j$

i

$i$

i

$i$

U = G β

$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$

U

$\mathbf{U}$

K \times 1

$K \times 1$

G

$\mathbf{G}$ là ma trận Gram cho tất cả các lân cận gần nhất của đối tượng và là một vectơ trọng số tuân theo các ràng buộc tổng hợp. Đặt là một ma trận khoảng cách nửa đối xứng cho tất cả các cặp lân cận K gần nhất của đối tượng . Có thể chỉ ra rằng bằng với ma trận khoảng cách trung tâm gấp đôi với các phần tử

K \times K

$K \times K$

i

$i$

β

$\boldsymbol{\beta}$

K \times 1

$K \times 1$

D

$\mathbf{D}$

K \times K

$K \times K$

p

$p$

x_{i}

$\mathbf{x}_i$

G

$\mathbf{G}$

τ

$\boldsymbol{\tau}$

τ_{l m} = - \frac{1}{2} (d_{l m}^{2} - \frac{1}{K} \sum_{l} d_{l m}^{2} - \frac{1}{K} \sum_{m} d_{l m}^{2} + \sum_{l} \sum_{m} d_{l m}^{2}) .

$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$

Các hệ số hồi quy được xác định bằng số bằng cách sử dụng và được kiểm tra để xác nhận họ tổng hợp lại. Các giá trị của được nhúng vào hàng của tại các vị trí cột khác nhau tương ứng với hàng xóm K gần nhất của đối tượng

K

$K$

\underset{K \times 1}{β} = {\underset{K \times K}{(τ^{⊤} τ)}}^{- 1} \underset{K \times 1}{τ^{⊤} U},

$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$

β

$\boldsymbol{\beta}$

i

$i$

W

$\mathbf{W}$

i

$i$ , cũng như các yếu tố chuyển vị. Điều này được lặp lại cho mỗi đối tượng thứ trong bộ dữ liệu. Nó đảm bảo rằng nếu số lượng hàng xóm gần nhất quá thấp, thì có thể thưa thớt khiến việc phân tích sinh học trở nên khó khăn. Nó đã được quan sát thấy rằng hàng xóm gần nhất dẫn đến ma trận không chứa bệnh lý trong quá trình phân tích sinh học. Hàm mục tiêu được giảm thiểu bằng cách tìm các giá trị riêng khác không nhỏ nhất của Dạng rút gọn của được biểu thị bằng

i

$i$

K

$K$

W

$\mathbf{W}$

K = 9

$K=9$

W

$\mathbf{W}$

(I - W)^{⊤} (I - W) E = Λ D E .

$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$

X

$\mathbf{X}$

Y = E

$\mathbf{Y}=\mathbf{E}$ trong đó có kích thước dựa trên hai giá trị riêng thấp nhất của .

E

$\mathbf{E}$

n \times 2

$n \times 2$

Λ

$\boldsymbol{\Lambda}$

— JoleT
nguồn

"K = 9 hàng xóm gần nhất" Điều này không phụ thuộc vào chiều của sao? Ví dụ: nếu có ít hơn 9 thứ nguyên, thì ma trận trọng số không được xác định duy nhất. Điều này có gây ra vấn đề với LLE không?

Y

$Y$

Y

$Y$

W

$W$

— Scott

Có, nhưng nếu có, giả sử, 8 chiều thì đối với dữ liệu ngẫu nhiên theo nghĩa đen, mọi điểm có thể được viết hoàn hảo dưới dạng kết hợp tuyến tính của 9 điểm khác, theo vô số cách.

— Scott

Luôn có các kịch bản "what if" khi triển khai một kỹ thuật và đó là lý do tại sao các ràng buộc tham số được sử dụng.

— JoleT