Phân cụm: Tôi nên sử dụng Phân kỳ Jensen-Shannon hoặc hình vuông của nó?

Tôi phân cụm phân phối xác suất bằng thuật toán Tuyên truyền mối quan hệ và tôi dự định sử dụng Phân kỳ Jensen-Shannon làm thước đo khoảng cách của mình.

Có đúng không khi sử dụng chính JSD làm khoảng cách hoặc bình phương JSD? Tại sao? Sự khác biệt nào sẽ dẫn đến việc chọn cái này hay cái khác?

— AlcubierreDrive
nguồn

Tôi nghĩ rằng nó phụ thuộc vào cách nó được sử dụng.

Chỉ để tham khảo cho các độc giả khác, nếu và là các số đo xác suất, thì Phân kỳ Jensen-Shannon là $P$ $Q$ nơi

J (P, Q) = = \frac{1}{2} (D (P || R) + D (Q || R))

$J(P,Q) = \frac{1}{2} \big( D(P \mid\mid R) + D(Q\mid\mid R) \big)$

là thước đo điểm giữa và

là sự phân kỳ Kullback-Leibler.

R = \frac{1}{2} (P + Q)

$R = \frac{1}{2} (P + Q)$

D (\cdot ∣∣ \cdot)

$D(\cdot\mid\mid\cdot)$

Bây giờ, tôi sẽ được khuyến khích sử dụng căn bậc hai của Phân kỳ Jensen-Shannon vì nó là một số liệu , tức là nó thỏa mãn tất cả các thuộc tính "trực quan" của thước đo khoảng cách.

Để biết thêm chi tiết về điều này, xem

Endres và Schindelin, Một số liệu mới cho phân phối xác suất , IEEE Trans. trên Thông tin. Của mày. , tập 49, không 3, tháng 7 năm 2003, trang 1858-1860.

Tất nhiên, trong một số ý nghĩa, nó phụ thuộc vào những gì bạn cần nó cho. Nếu tất cả những gì bạn đang sử dụng là để đánh giá một số biện pháp cặp đôi, thì bất kỳ phép biến đổi đơn điệu nào của JSD sẽ hoạt động. Nếu bạn đang tìm kiếm thứ gì đó gần nhất với "khoảng cách bình phương", thì chính JSD là đại lượng tương tự.

Ngẫu nhiên, bạn cũng có thể quan tâm đến câu hỏi trước đó và các câu trả lời và thảo luận liên quan.

— hồng y
nguồn

Thật tuyệt, tôi sẽ đọc "một số liệu mới để phân phối xác suất" càng sớm càng tốt. Txh

— ocram

Cảm ơn! Tôi đã không nhận ra rằng chính JSD đã tương tự như dist ** 2

— AlcubierreDrive

Cảm ơn lời giải thích tuyệt vời! Chỉ là một câu hỏi nhanh. Tôi biết J-Divergence là đối xứng trong đó J(P,Q) = J(Q,P). Tôi đọc rằng phân kỳ JS là đối xứng trong P và Q. Điều này có nghĩa JS(P,Q) = JS(Q,P)không? Tôi hỏi điều này bởi vì tôi đang sử dụng KLdivchức năng từ flexmixgói trong R. Đối với hai bản phân phối của tôi, đầu ra ma trận từ KLdiv không đối xứng. Tôi đã mong đợi JS sửa lỗi này nhưng đầu ra từ JS (được tính bằng cách sử dụng KL) không đối xứng.

— Truyền thuyết

P

$P$

Q

$Q$