Tại sao chúng ta sử dụng phân kỳ Kullback-Leibler chứ không phải entropy chéo trong hàm mục tiêu t-SNE?

Trong tâm trí của tôi, phân kỳ KL từ phân phối mẫu sang phân phối thực sự chỉ đơn giản là sự khác biệt giữa entropy chéo và entropy chéo.

Tại sao chúng ta sử dụng entropy chéo là hàm chi phí trong nhiều mô hình học máy, nhưng sử dụng phân kỳ Kullback-Leibler trong t-sne? Có sự khác biệt về tốc độ học tập?

Phân kỳ KL là một cách tự nhiên để đo lường sự khác biệt giữa hai phân phối xác suất. Entropy của phân phối p cung cấp số bit tối thiểu có thể có cho mỗi thông báo sẽ cần (trung bình) để mã hóa các sự kiện được rút ra từ p . Để đạt được ràng buộc này sẽ yêu cầu sử dụng một mã tối ưu được thiết kế cho p , để gán các từ mã ngắn hơn cho các sự kiện xác suất cao hơn. D K L ( p ∥ q ) có thể được hiểu là số lượng dự kiến của phụ bit cho mỗi tin nhắn cần thiết để sự kiện mã hóa rút ra từ đúng phân phối $H(p)$$p$$p$$p$$D_{KL}(p \parallel q)$$p$, nếu sử dụng mã tối ưu để phân phối chứ không phải p . Nó có một số thuộc tính tốt để so sánh phân phối. Ví dụ: nếu p và q bằng nhau thì phân kỳ KL là 0.$q$$p$$p$$q$

$H(p, q)$$p$$q$$D_{KL}(p \parallel q)$$H(p, q)$$p$$H(p, q)$$q$$p$$p$$H(p, q)$$p$

Phân kỳ KL và entropy chéo có liên quan như:

$p$$q$$p$

$p$$q$

$p$$H(p)$$p$$H(p)$$p$

$p$$q$$D_{KL}(p \parallel q)$$p$$q_{j \mid i}$$p_{j \mid i}$ là phân kỳ Kullback-Leibler (trong trường hợp này bằng với entropy chéo cho đến hằng số phụ gia). "

van der Maaten và Hinton (2008) . Trực quan hóa dữ liệu bằng t-SNE.