Có khoảng cách xác suất nào bảo tồn tất cả các thuộc tính của một số liệu không?


13

Khi nghiên cứu khoảng cách KullbackTHER Leibler, có hai điều chúng ta học được rất nhanh là nó không tôn trọng bất đẳng thức tam giác cũng như tính đối xứng, tính chất bắt buộc của một số liệu.

Câu hỏi của tôi là liệu có bất kỳ số liệu nào của các hàm mật độ xác suất đáp ứng tất cả các ràng buộc của một số liệu hay không .


Tập trung vào mật độ xác suất là tập trung vào đối tượng "sai". Đối với các số liệu, có các số liệu "cổ điển", ví dụ: Lévy (và số liệu Ky Fan liên quan về các biến ngẫu nhiên), Wasserstein cùng với các số liệu gần gũi hơn với KL, ví dụ: phân kỳ Jensen-Shannon . Mặc dù hầu hết bị bỏ qua trong lịch sử, lưu ý rằng trong bài báo gốc của KL , phân kỳ KL thực sự là đối xứng (mặc dù vẫn không phải là một số liệu).
Đức hồng y

1
@cardinal, tốt, tôi không có nhiều trong lĩnh vực này, bạn có thể vui lòng đề xuất đối tượng "đúng" không?
Jorge Leitao

2
JC: Xin lỗi, hộp bình luận trở nên quá nhỏ so với tất cả những gì tôi đang cố gắng để phù hợp với nó. Tôi nên đã xây dựng. Hàm phân phối tích lũy hóa ra là một đối tượng nghiên cứu tổng quát và tự nhiên hơn. :-)
hồng y

@cardinal tại sao? ;)
Jorge Leitao

Câu trả lời:


19

L2


2
Đó là một bài báo hay - đặc biệt là hình 1. Tôi đang lưu một bản sao của nó để tham khảo trong tương lai.
Pat


1

Có một số sửa đổi đối với phân kỳ KL làm cho nó có được một số thuộc tính số liệu (mặc dù không phải tất cả).

Ví dụ, phân kỳ của Jeffrey sửa đổi phân kỳ KL để làm cho nó đối xứng.

Có một số trường hợp đặc biệt xem [1]: "Thật không may, các biện pháp truyền thống dựa trên phân kỳ KullbackTHER Leibler (KL) và khoảng cách Bhattacharyya không thỏa mãn tất cả các tiên đề số liệu cần thiết cho nhiều thuật toán. Trong bài báo này, chúng tôi đề xuất sửa đổi cho KL. sự khác biệt và khoảng cách Bhattacharyya, đối với mật độ Gaussian đa biến, biến đổi hai biện pháp thành số liệu khoảng cách. "

[1] K. Abou-Moustafa và F. Ferrie, "Lưu ý về tính chất số liệu đối với một số biện pháp phân kỳ: Trường hợp Gaussian", JMLR: Kỷ yếu hội thảo và hội thảo 25: 1 Phép15, 2012.


Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.