Câu hỏi về phân kỳ KL?

Tôi đang so sánh hai phân phối với phân kỳ KL trả về cho tôi một số không được chuẩn hóa, theo những gì tôi đọc về biện pháp này, là lượng thông tin cần thiết để chuyển đổi một giả thuyết sang giả thuyết khác. Tôi có hai câu hỏi:

a) Có cách nào để định lượng phân kỳ KL để nó có cách hiểu có ý nghĩa hơn, ví dụ như kích thước hiệu ứng hoặc R ^ 2 không? Bất kỳ hình thức tiêu chuẩn hóa?

b) Trong R, khi sử dụng KLdiv (gói flexmix), người ta có thể đặt giá trị 'đặc biệt' (tiêu chuẩn đặc biệt = 1e-4) để đặt tất cả các điểm nhỏ hơn đặc biệt theo một số tiêu chuẩn để cung cấp sự ổn định về số. Tôi đã chơi với các giá trị đặc biệt khác nhau và, đối với tập dữ liệu của tôi, tôi nhận được một phân kỳ KL ngày càng lớn hơn với số tôi chọn nhỏ hơn. Chuyện gì đang xảy ra vậy? Tôi hy vọng rằng đặc biệt càng nhỏ, kết quả sẽ càng đáng tin cậy vì họ để cho nhiều 'giá trị thực' trở thành một phần của thống kê. Không? Tôi phải thay đổi đặc biệt vì nó không tính toán thống kê mà chỉ hiển thị dưới dạng NA trong bảng kết quả ...

Giả sử bạn được cung cấp n mẫu IID được tạo bởi p hoặc bởi q. Bạn muốn xác định phân phối nào tạo ra chúng. Lấy giả thuyết không có giá trị rằng chúng được tạo bởi q. Đặt một xác suất cho thấy lỗi Loại I, từ chối nhầm giả thuyết khống và b chỉ ra xác suất của lỗi Loại II.

Sau đó, đối với n lớn, xác suất của lỗi loại I ít nhất là

$\exp(-n \text{KL}(p,q))$

Nói cách khác, đối với quy trình quyết định "tối ưu", xác suất Loại I rơi nhiều nhất theo hệ số exp (KL (p, q)) với mỗi điểm dữ liệu. Lỗi loại II giảm theo hệ số .$\exp(\text{KL}(q,p))$

Đối với n tùy ý, a và b có liên quan như sau

$b \log \frac{b}{1-a}+(1-b)\log \frac{1-b}{a} \le n \text{KL}(p,q)$

và

$a \log \frac{a}{1-b}+(1-a)\log \frac{1-a}{b} \le n \text{KL}(q,p)$

Nếu chúng ta biểu thị giới hạn ở trên là giới hạn dưới trên a về b và KL và giảm b xuống 0, kết quả dường như tiếp cận với "exp (-n KL (q, p))" ngay cả đối với n nhỏ

Thêm chi tiết ở trang 10 tại đây và trang 74-77 của "Lý thuyết và thống kê thông tin" của Kullback (1978).

Một lưu ý phụ, cách giải thích này có thể được sử dụng để thúc đẩy số liệu Thông tin của Fisher, vì đối với bất kỳ cặp phân phối p, q nào ở khoảng cách của Fisher với nhau (k nhỏ) bạn cần có cùng số lượng quan sát để phân biệt chúng

KL có một ý nghĩa sâu sắc khi bạn hình dung một tập hợp các nha khoa như một đa tạp trong thang đo ngư nghiệp, nó cho khoảng cách đo đạc giữa hai phân phối "gần". Chính thức:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Các dòng sau đây ở đây để giải thích với các chi tiết về ý nghĩa của công thức toán học las này.

Định nghĩa của số liệu Fisher.

Hãy xem xét một họ phân phối xác suất tham số (được cho bởi mật độ trong R n ), trong đó x là một biến ngẫu nhiên và theta là một tham số trong R p . Tất cả các bạn có thể biết rằng ma trận thông tin câu cá F = ( F i j ) là$D=(f(x, \theta ))$$R^n$$x$$R^p$$F=(F_{ij})$

$F_{ij}=E[d(\log f(x,\theta))/d \theta_i d(\log f(x,\theta))/d \theta_j]$

Với ký hiệu này là một đa tạp Riemannian và F ( θ ) là một tensor metric Riemann. (Sự quan tâm của số liệu này được đưa ra bởi định lý ràng buộc thấp hơn Rao)$D$$F(\theta)$

Bạn có thể nói ... OK trừu tượng toán học nhưng KL ở đâu?

Đó không phải là sự trừu tượng hóa toán học, nếu bạn thực sự có thể tưởng tượng mật độ tham số của bạn là một đường cong (thay vì một tập hợp con của một không gian có kích thước vô hạn) và F 11 được kết nối với độ cong của đường cong đó ... (xem phần chính bài viết của Bradley Efron http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176343282 )$p=1$$F_{11}$

Câu trả lời hình học vào một phần của điểm a / trong câu hỏi của bạn: khoảng cách bình phương giữa hai (đóng) phân phối p ( x , θ ) và p ( x , θ + d θ ) trên đa dạng (nghĩ về khoảng cách đo đạc trên trái đất của hai điểm gần nhau, nó liên quan đến độ cong của trái đất) được cho bởi dạng bậc hai:$ds^2$$p(x,\theta)$$p(x,\theta+d \theta)$

$ds^2= \sum F_{ij} d \theta^i d \theta^j$

và nó được biết đến là hai lần Phân kỳ Kullback Leibler:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Nếu bạn muốn tìm hiểu thêm về điều đó, tôi khuyên bạn nên đọc bài viết từ Amari http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779 (Tôi nghĩ đó cũng là một cuốn sách từ Amari hình học riemannian trong thống kê nhưng tôi không nhớ tên)

Sự phân kỳ KL (p, q) giữa các phân phối p (.) Và q (.) Có một cách giải thích lý thuyết thông tin trực quan mà bạn có thể thấy hữu ích.

Giả sử chúng ta quan sát dữ liệu x được tạo bởi một số phân phối xác suất p (.). Giới hạn dưới của bước sóng trung bình tính theo bit cần thiết để nêu dữ liệu được tạo bởi p (.) Được đưa ra bởi entropy của p (.).

Bây giờ, vì chúng tôi không biết p (.), Chúng tôi chọn phân phối khác, giả sử, q (.) Để mã hóa (hoặc mô tả, trạng thái) dữ liệu. Bước sóng trung bình của dữ liệu được tạo bởi p (.) Và được mã hóa bằng q (.) Sẽ nhất thiết phải dài hơn nếu phân phối thực p (.) Được sử dụng cho mã hóa. Phân kỳ KL cho chúng ta biết về tính không hiệu quả của mã thay thế này. Nói cách khác, sự phân kỳ giữa KL p (.) Và q (.) Là số trung bình của phụ bit cần thiết để mã hóa dữ liệu được tạo bởi p (.) Sử dụng mã hóa q phân phối (.). Phân kỳ KL không âm và bằng 0 nếu phân phối tạo dữ liệu thực tế được sử dụng để mã hóa dữ liệu.

Đối với phần (b) câu hỏi của bạn, bạn có thể gặp phải vấn đề là một trong những bản phân phối của bạn có mật độ trong một khu vực mà phần còn lại không có.

Điều này phân kỳ nếu có $i$ Ở đâu $p_i>0$ và $q_i=0$. Epsilon số trong triển khai R "cứu bạn" khỏi vấn đề này; nhưng nó có nghĩa là giá trị kết quả phụ thuộc vào tham số này (về mặt kỹ thuật$q_i=0$ không bắt buộc, chỉ vậy thôi $q_i$ nhỏ hơn epsilon số).