KullbackTHER Leibler vs Kolmogorov-Smirnov khoảng cách

37

Tôi có thể thấy rằng có rất nhiều sự khác biệt chính thức giữa các biện pháp khoảng cách Kullback Mitch Leibler vs Kolmogorov-Smirnov. Tuy nhiên, cả hai đều được sử dụng để đo khoảng cách giữa các bản phân phối.

Có một tình huống điển hình mà một người nên được sử dụng thay vì khác?
Lý do để làm như vậy là gì?

— Greg
nguồn

Một câu hỏi liên quan: stats.stackexchange.com/questions/4/ trên

— GaBorgulya

23

Ví dụ, phân kỳ KL thường được sử dụng trong các cài đặt lý thuyết thông tin, hoặc thậm chí các cài đặt Bayes, để đo lường sự thay đổi thông tin giữa các phân phối trước và sau khi áp dụng một số suy luận. Đó không phải là một khoảng cách theo nghĩa (số liệu) điển hình, vì thiếu bất đẳng thức đối xứng và tam giác, và vì vậy nó được sử dụng ở những nơi có tính định hướng.

Khoảng cách KS thường được sử dụng trong bối cảnh thử nghiệm không tham số. Trên thực tế, tôi hiếm khi thấy nó được sử dụng như một "khoảng cách giữa các bản phân phối" chung chung, trong đó khoảng cách , khoảng cách Jensen-Shannon và các khoảng cách khác là phổ biến hơn. $\ell_1$

— Suresh Venkatasubramanian
nguồn

5

Một cách sử dụng khác của phân kỳ KL đáng được đề cập là trong thử nghiệm giả thuyết. Giả sử là các biện pháp có mật độ hoặc . Đặt . Bởi Neyman - Pearson, một thử nghiệm tối ưu từ chối khi lớn. Bây giờ, theo , xác suất và theo , . Vì là không âm, nên hàm ý là sử dụng quy tắc để từ chối là hoàn hảo không có triệu chứng.

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

— Đức hồng y

Thật. đó là một ví dụ tuyệt vời Và trên thực tế, hầu hết các phiên bản chung của giới hạn đuôi Hooff-Hoeffding đều sử dụng phân kỳ KL.

— Suresh Venkatasubramanian

2

Một cách khác để nói điều tương tự như câu trả lời trước đó trong các điều khoản giáo dân nhiều hơn:

Phân kỳ KL - Trên thực tế cung cấp một thước đo về mức độ lớn của sự khác biệt là hai phân phối từ nhau. Như đã đề cập trong câu trả lời trước, biện pháp này không phải là một thước đo khoảng cách thích hợp vì nó không đối xứng. Tức là khoảng cách giữa phân phối A và B là một giá trị khác với khoảng cách giữa phân phối B và A.

Kiểm tra Kolmogorov-Smirnov - Đây là một số liệu đánh giá xem xét sự phân tách lớn nhất giữa phân phối tích lũy của phân phối thử nghiệm so với phân phối tham chiếu. Ngoài ra, bạn có thể sử dụng số liệu này giống như chỉ số z so với phân phối Kolmogorov để thực hiện kiểm tra giả thuyết về việc phân phối thử nghiệm có phân phối giống như tham chiếu hay không. Số liệu này có thể được sử dụng như một hàm khoảng cách vì nó là đối xứng. Tức là sự phân tách lớn nhất giữa CDF của A so với CDF của B cũng giống như sự phân tách lớn nhất giữa CDF của B so với CDF của A.

— Sri Lanka
nguồn