Sự khác biệt của Jensen Shannon vs Kullback-Leibler?

14

Tôi biết rằng Phân kỳ KL không đối xứng và nó không thể được coi là một số liệu nghiêm ngặt. Nếu vậy, tại sao nó được sử dụng khi Phân kỳ JS thỏa mãn các thuộc tính cần thiết cho một số liệu?

Có kịch bản nào có thể sử dụng phân kỳ KL nhưng không phân kỳ JS hay ngược lại không?

— người dùng2761431
nguồn

Cả hai đều được sử dụng, chỉ có nó phụ thuộc vào bối cảnh. Khi rõ ràng rằng cần phải có một số liệu nghiêm ngặt, ví dụ: khi phân cụm được thực hiện, thì JS là một lựa chọn tốt hơn. Mặt khác, trong lựa chọn mô hình, việc sử dụng AIC dựa trên KL là phổ biến. Trọng lượng Akaike có một cách giải thích hay mà JS không thể cung cấp đối tác hoặc nó vẫn chưa trở nên phổ biến.

— James

5

Tôi đã tìm thấy một câu trả lời rất chín chắn trên Quora và chỉ đưa nó vào đây cho những người tìm kiếm nó ở đây:

$𝐾𝐿[𝑞;𝑝]$ $𝑞(𝑥)$ $𝑝(𝑥)$

$𝑝(𝑥)$ $𝑞(𝑥)$ $𝑝(𝑥)$ $𝑞(𝑥)$ $𝑞(𝑥)𝑙𝑜𝑔[𝑞(𝑥)/𝑝(𝑥)]$ $𝑝(𝑥)$ $𝑝(𝑥)$ $𝑞(𝑥)$ $𝑞(𝑥)$ $𝐾𝐿[𝑞;𝑝]$ $𝑞(𝑥)$ $𝑝(𝑥)$

$𝑝(𝑥)$ $𝑞(𝑥)$ $𝑞(𝑥)$ $𝑝(𝑥)$

— moh
nguồn

1

Phân kỳ KL có thông tin lý thuyết rõ ràng và được biết đến nhiều; nhưng tôi lần đầu tiên nghe rằng sự đối xứng của phân kỳ KL được gọi là phân kỳ JS. Lý do phân kỳ JS không được sử dụng thường xuyên có lẽ là vì nó ít được biết đến và không cung cấp các thuộc tính bắt buộc.

— James LI
nguồn