Kết nối giữa số liệu Fisher và entropy tương đối

Ai đó có thể chứng minh mối liên hệ sau đây giữa số liệu thông tin của Fisher và entropy tương đối (hoặc phân kỳ KL) một cách thuần túy toán học không?

$$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$$ trong đó , và g_ {i, j} \, da ^ i \, da ^ j: = \ sum_ {i, j} g_ {i, j} \, da ^ i \, da ^ j là quy ước tổng hợp Einstein.$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ $$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$$ $g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$

Tôi tìm thấy những điều trên trong blog tốt đẹp của John Baez , nơi Vasileios Anagnostopoulos nói về điều đó trong các bình luận.

Vào năm 1946, nhà địa lý học và nhà thống kê Bayes Harold Jeffreys đã giới thiệu cái mà ngày nay chúng ta gọi là phân kỳ Kullback-Leibler và phát hiện ra rằng với hai bản phân phối "gần như vô tận" (chúng ta hãy hy vọng rằng các chàng trai Math SE không thấy điều này ;-) chúng ta có thể viết phân kỳ Kullback-Leibler của chúng như một dạng bậc hai có hệ số được đưa ra bởi các yếu tố của ma trận thông tin Fisher. Ông giải thích dạng bậc hai này là phần tử độ dài của đa tạp Riemannian, với thông tin Fisher đóng vai trò của số liệu Riemannian. Từ mô hình thống kê mô hình thống kê này, ông đã đưa ra Jeffreys của mình trước khi biện pháp được tạo ra một cách tự nhiên bởi số liệu Riemannian và biện pháp này có thể được hiểu là một phân phối thống nhất nội tại trên đa tạp, mặc dù, nói chung, nó không phải là một biện pháp hữu hạn.

Để viết một bằng chứng nghiêm ngặt, bạn sẽ cần phải tìm ra tất cả các điều kiện thông thường và quan tâm đến thứ tự các điều khoản lỗi trong bản mở rộng Taylor. Dưới đây là một bản phác thảo ngắn gọn của các đối số.

Sự phân kỳ Kullback-Leibler đối xứng giữa hai mật độ và được định nghĩa là$f$$g$

$$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$$

Nếu chúng ta có một họ mật độ được tham số hóa bởi , thì$\theta=(\theta_1,\dots,\theta_k)$

$$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$$ trong đó . Giới thiệu ký hiệu một số đại số đơn giản cho Sử dụng bản mở rộng Taylor cho logarit tự nhiên, chúng ta có $\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$ $$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$$ $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$$ $$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$$ D [ p ( và do đó Nhưng Do đó trong đó $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$$ $$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$$ $$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$$ $$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$$

Đây là bài báo gốc:

Jeffreys, H. (1946). Một hình thức bất biến cho xác suất trước trong các vấn đề ước tính. Proc. Hoàng Sóc. của Luân Đôn, Sê-ri A, 186, 453 Trực461.

Bằng chứng cho phân kỳ KL thông thường (không đối xứng)

Câu trả lời của Zen sử dụng phân kỳ KL đối xứng, nhưng kết quả cũng đúng với dạng thông thường, vì nó trở thành đối xứng cho các phân phối gần cực kỳ.

Đây là bằng chứng cho các phân phối rời rạc được tham số hóa bởi vô hướng (vì tôi lười biếng), nhưng có thể dễ dàng viết lại cho các phân phối liên tục hoặc một vectơ tham số:$\theta$

$$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$$ Taylor mở rộng thuật ngữ cuối cùng: Giả sử một số quy tắc, tôi đã sử dụng hai kết quả: $$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$$ $$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$$

$$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$$

Bạn có thể tìm thấy mối quan hệ tương tự (đối với tham số một chiều) trong phương trình (3) của bài báo sau

D. Guo (2009), Entropy tương đối và chức năng tính điểm: Mối quan hệ ước tính thông tin mới thông qua mối quan hệ phụ gia tùy ý , trong Proc. Hội thảo quốc tế về lý thuyết thông tin , 814 chuyến818. ( liên kết ổn định ).

Các tác giả tham khảo

S. Kullback, Lý thuyết và Thống kê thông tin . New York: Dover, 1968.

cho một bằng chứng về kết quả này.