Có thể áp dụng phân kỳ KL giữa phân phối rời rạc và liên tục?

Tôi không phải là nhà toán học. Tôi đã tìm kiếm trên internet về KL Divergence. Những gì tôi học được là phân kỳ KL đo lường thông tin bị mất khi chúng ta phân phối gần đúng một mô hình liên quan đến phân phối đầu vào. Tôi đã thấy những điều này giữa bất kỳ hai phân phối liên tục hoặc rời rạc. Chúng ta có thể làm điều đó giữa liên tục và rời rạc hoặc ngược lại?

Không: Phân kỳ KL chỉ được xác định trên các bản phân phối trên một không gian chung. Nó hỏi về mật độ xác suất của một điểm dưới hai phân phối khác nhau, và . Nếu là phân phối trên và phân phối trên , thì không có ý nghĩa đối với các điểm và không có ý nghĩa đối với các điểm . Trên thực tế, chúng ta thậm chí không thể làm điều đó cho hai phân phối liên tục trên các không gian có chiều khác nhau (hoặc riêng biệt hoặc bất kỳ trường hợp nào có không gian xác suất cơ bản không khớp).p ( x ) q ( x ) p R 3 q Z q ( x ) p ∈ R 3 p ( z ) z ∈ $x$$p(x)$$q(x)$$p$$\mathbb{R}^3$$q$$\mathbb{Z}$$q(x)$$p \in \mathbb{R}^3$$p(z)$$z \in \mathbb{Z}$

Nếu bạn có một trường hợp cụ thể trong tâm trí, có thể có thể đưa ra một số biện pháp tương tự có sự khác biệt giữa các bản phân phối. Ví dụ, có thể có ý nghĩa để mã hóa phân phối liên tục theo mã cho một mã riêng biệt (rõ ràng là có thông tin bị mất), ví dụ bằng cách làm tròn đến điểm gần nhất trong trường hợp rời rạc.

Có, sự phân kỳ KL giữa các biến ngẫu nhiên liên tục và rời rạc được xác định rõ. Nếu và Q là các bản phân phối trên một số không gian X , sau đó cả hai P và Q có mật độ f , g đối với μ = P + Q và D K L ( P , Q ) = ∫ X f log $P$$Q$$\mathbb{X}$$P$$Q$$f$$g$$\mu = P+Q$

$\mathbb{X} = [0,1]$$P$$Q = \delta_0$$0$$f(x) = 1-\mathbb{1}_{x=0}$$g(x) = \mathbb{1}_{x=0}$

Không nói chung. Phân kỳ KL là

$P$$Q$$P$$Q$$\sigma$$\frac{dP}{dQ}$

$\sigma$