Những lợi thế của số liệu Wasserstein so với phân kỳ Kullback-Leibler là gì?

Sự khác biệt thực tế giữa số liệu Wasserstein và phân kỳ Kullback-Leibler là gì? Số liệu của Wasserstein cũng được gọi là khoảng cách của Trái đất .

Từ Wikipedia:

Số liệu Wasserstein (hoặc Vaserstein) là một hàm khoảng cách được xác định giữa các phân phối xác suất trên một không gian số liệu nhất định M.

và

Phân kỳ KullbackTHER Leibler là thước đo về cách một phân phối xác suất phân kỳ từ phân phối xác suất dự kiến ​​thứ hai.

Tôi đã thấy KL được sử dụng trong triển khai học máy, nhưng gần đây tôi đã xem qua số liệu của Wasserstein. Có một hướng dẫn tốt về khi nào nên sử dụng cái này hay cái kia?

(Tôi không đủ uy tín để tạo thẻ mới bằng Wassersteinhoặc Earth mover's distance.)

Khi xem xét những ưu điểm của Wasserstein mét so với KL phân kỳ, sau đó là một rõ ràng nhất là W là một thước đo trong khi KL phân kỳ không phải là, kể từ KL là không đối xứng (ví dụ: nói chung) và không đáp ứng các bất đẳng thức tam giác (ví dụ: D K L ( R | | P ) ≤ D K L ( Q | | P ) + D $D_{KL}(P||Q) \neq D_{KL}(Q||P)$không giữ chung).$D_{KL}(R||P) \leq D_{KL}(Q||P) + D_{KL}(R||Q)$

Như một sự khác biệt thực tế, thì một trong những điều quan trọng nhất là không giống như KL (và nhiều biện pháp khác) Wasserstein tính đến không gian số liệu và điều này có nghĩa là trong thuật ngữ ít trừu tượng có lẽ được giải thích tốt nhất bằng một ví dụ (hãy bỏ qua theo hình, mã chỉ để sản xuất nó):

# define samples this way as scipy.stats.wasserstein_distance can't take probability distributions directly
sampP = [1,1,1,1,1,1,2,3,4,5]
sampQ = [1,2,3,4,5,5,5,5,5,5]
# and for scipy.stats.entropy (gives KL divergence here) we want distributions
P = np.unique(sampP, return_counts=True)[1] / len(sampP)
Q = np.unique(sampQ, return_counts=True)[1] / len(sampQ)
# compare to this sample / distribution:
sampQ2 = [1,2,2,2,2,2,2,3,4,5]
Q2 = np.unique(sampQ2, return_counts=True)[1] / len(sampQ2)

fig = plt.figure(figsize=(10,7))
fig.subplots_adjust(wspace=0.5)
plt.subplot(2,2,1)
plt.bar(np.arange(len(P)), P, color='r')
plt.xticks(np.arange(len(P)), np.arange(1,5), fontsize=0)
plt.subplot(2,2,3)
plt.bar(np.arange(len(Q)), Q, color='b')
plt.xticks(np.arange(len(Q)), np.arange(1,5))
plt.title("Wasserstein distance {:.4}\nKL divergence {:.4}".format(
    scipy.stats.wasserstein_distance(sampP, sampQ), scipy.stats.entropy(P, Q)), fontsize=10)
plt.subplot(2,2,2)
plt.bar(np.arange(len(P)), P, color='r')
plt.xticks(np.arange(len(P)), np.arange(1,5), fontsize=0)
plt.subplot(2,2,4)
plt.bar(np.arange(len(Q2)), Q2, color='b')
plt.xticks(np.arange(len(Q2)), np.arange(1,5))
plt.title("Wasserstein distance {:.4}\nKL divergence {:.4}".format(
    scipy.stats.wasserstein_distance(sampP, sampQ2), scipy.stats.entropy(P, Q2)), fontsize=10)
plt.show()

Ở đây, các biện pháp giữa phân phối màu đỏ và màu xanh là giống nhau đối với phân kỳ KL trong khi khoảng cách Wasserstein đo công việc cần thiết để vận chuyển khối lượng xác suất từ ​​trạng thái màu đỏ sang trạng thái màu xanh bằng cách sử dụng trục x làm đường trục. Biện pháp này rõ ràng là càng lớn thì khối lượng xác suất càng xa (do đó khoảng cách của bí danh trái đất). Vì vậy, cái nào bạn muốn sử dụng phụ thuộc vào khu vực ứng dụng của bạn và những gì bạn muốn đo. Lưu ý, thay vì phân kỳ KL, cũng có các tùy chọn khác như khoảng cách Jensen-Shannon là số liệu thích hợp.

Số liệu Wasserstein thường xuất hiện nhất trong các vấn đề vận chuyển tối ưu trong đó mục tiêu là chuyển mọi thứ từ một cấu hình nhất định sang một cấu hình mong muốn trong chi phí tối thiểu hoặc khoảng cách tối thiểu. Kullback-Leibler (KL) là một phân kỳ (không phải là số liệu) và xuất hiện rất thường xuyên trong thống kê, học máy và lý thuyết thông tin.

Ngoài ra, số liệu Wasserstein không yêu cầu cả hai biện pháp trên cùng một không gian xác suất, trong khi phân kỳ KL yêu cầu cả hai biện pháp được xác định trên cùng một không gian xác suất.

Có lẽ điểm dễ nhất để thấy sự khác biệt giữa khoảng cách Wasserstein và phân kỳ KL là trong trường hợp Gaussian đa biến trong đó cả hai đều có các giải pháp dạng đóng. Giả sử rằng các bản phân phối có kích thước $k$ , phương tiện $\mu_i$$\Sigma_i$$i=1,2$

$$W_{2} (\mathcal{N}_0, \mathcal{N}_1)^2 = \| \mu_1 - \mu_2 \|_2^2 + \mathop{\mathrm{tr}} \bigl( \Sigma_1 + \Sigma_2 - 2 \bigl( \Sigma_2^{1/2} \Sigma_1 \Sigma_2^{1/2} \bigr)^{1/2} \bigr)$$ $$D_\text{KL} (\mathcal{N}_0, \mathcal{N}_1) = \frac{1}{2}\left( \operatorname{tr} \left(\Sigma_1^{-1}\Sigma_0\right) + (\mu_1 - \mu_0)^\mathsf{T} \Sigma_1^{-1}(\mu_1 - \mu_0) - k + \ln \left(\frac{\det\Sigma_1}{\det\Sigma_0}\right) \right).$$ $\Sigma_1=\Sigma_2=wI_k$$\mu_1\neq\mu_2$$0$$-k$$0$ $$W_{2} (\mathcal{N}_0, \mathcal{N}_1)^2 = \| \mu_1 - \mu_2 \|_2^2$$ $$D_\text{KL} (\mathcal{N}_0, \mathcal{N}_1) = (\mu_1 - \mu_0)^\mathsf{T} \Sigma_1^{-1}(\mu_1 - \mu_0).$$ $w$như một số lượng lớn trong ma trận hiệp phương sai) trong khi phân kỳ KL thì có. Điều này là do khoảng cách Wasserstein là một hàm khoảng cách trong không gian hỗ trợ chung của hai biện pháp xác suất. Ngược lại, phân kỳ KL là một phân kỳ và phân kỳ này thay đổi dựa trên không gian thông tin (tỷ lệ tín hiệu / nhiễu) của các phân phối.

$P$$Q$

Tôi thấy thuộc tính này là một phần mở rộng rất tự nhiên để nói về sự khác biệt tuyệt đối giữa hai biến ngẫu nhiên