Giá trị tối đa của phân kỳ Kullback-Leibler (KL) là bao nhiêu

Tôi sẽ sử dụng phân kỳ KL trong mã python của tôi và tôi đã nhận được hướng dẫn này .

Trong hướng dẫn đó, để thực hiện phân kỳ KL khá đơn giản.

kl = (model * np.log(model/actual)).sum()

Theo tôi hiểu, phân phối xác suất của modelvà actualnên <= 1.

Câu hỏi của tôi là, giá trị ràng buộc tối đa / tối đa có thể có của k là gì ?. Tôi cần biết giá trị tối đa có thể của khoảng cách kl như đối với giới hạn tối đa trong mã của tôi.

Hoặc thậm chí với cùng một sự hỗ trợ, khi một phân phối có đuôi béo hơn nhiều so với phân phối khác. Lấy khi p ( x ) = Cauchy mật độ ⏞

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ sau đó KL(P||Q)=∫ $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ và ∫ $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ Tồn tại các khoảng cách khác vẫn còn giới hạn như $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$

• các khoảng cách, tương đương với tổng số khoảng cách dao động,$L¹$
• khoảng cách Wasserstein
• khoảng cách Hellinger

Đối với các bản phân phối không có cùng hỗ trợ, phân kỳ KL không bị giới hạn. Nhìn vào định nghĩa:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

nếu P và Q có không phải là hỗ trợ giống nhau, có tồn tại một số điểm nơi p ( x ' ) ≠ 0 và q ( x ' ) = $x'$$p(x') \neq 0$$q(x') = 0$ , làm cho KL đi đến vô cùng. Điều này cũng có thể áp dụng cho các bản phân phối riêng biệt, đó là trường hợp của bạn.

Chỉnh sửa: Có thể một lựa chọn tốt hơn để đo độ phân kỳ giữa các phân phối xác suất sẽ được gọi là khoảng cách Wasserstein là một số liệu và có các thuộc tính tốt hơn so với phân kỳ KL. Nó đã trở nên khá phổ biến do các ứng dụng của nó trong học tập sâu (xem mạng WGAN)

Để thêm vào câu trả lời xuất sắc của Carlos và Xi'an , một điều thú vị cần lưu ý là một điều kiện đủ để phân kỳ KL là hữu hạn là cho cả hai biến ngẫu nhiên có cùng hỗ trợ nhỏ gọn và mật độ tham chiếu bị giới hạn . Kết quả này cũng thiết lập một giới hạn ngầm định cho mức tối đa của phân kỳ KL (xem định lý và bằng chứng bên dưới).

---

Định lý: Nếu mật độ và q có cùng hỗ trợ X nhỏ gọn và mật độ p được giới hạn trên hỗ trợ đó (nghĩa là có giới hạn trên hữu hạn) thì K L ( P | | Q ) < ∞ .$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Chứng minh: Vì có hỗ trợ nhỏ gọn X, điều này có nghĩa là có một số giá trị cực kỳ dương:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

Tương tự, vì có hỗ trợ nhỏ gọn X, điều này có nghĩa là có một số giá trị tối cao dương:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

Hơn nữa, vì đây là những cả mật độ vào sự hỗ trợ tương tự, và sau này được bao bọc, chúng ta có . Điều này có nghĩa rằng:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Bây giờ, cho phép là sau trên ràng buộc, chúng tôi rõ ràng có 0 ⩽ L _ < ∞ sao cho:$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

Điều này thiết lập giới hạn trên yêu cầu, chứng minh định lý. $\blacksquare$