Thông tin lý thuyết định lý giới hạn trung tâm

Hình thức đơn giản nhất của CLT lý thuyết thông tin là như sau:

Hãy để được iid với trung bình 0 và phương sai 1 . Hãy để f n là mật độ của tổng bình thường Σ n i = 1 X $X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

Chắc chắn, sự hội tụ này, theo một nghĩa nào đó, "mạnh mẽ" hơn so với sự hội tụ được hợp nhất hóa trong tài liệu, sự hội tụ trong phân phối và hội tụ trong -metric, nhờ vào bất đẳng thức của Pinsker . Đó là, sự hội tụ trong phân kỳ KL ngụ ý sự hội tụ trong phân phối và hội tụ trong khoảng cách .$L_1$$\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$$L_1$

Tôi muốn biết hai điều.

1. Điều gì tuyệt vời về kết quả ?$D(f_n\|\phi)\to 0$

2. Là nó chỉ vì lý do đã nêu trong đoạn thứ ba chúng ta nói hội tụ trong KL-phân kỳ ( ví dụ , ) là mạnh mẽ hơn?$D(f_n\|\phi)\to 0$

NB: Tôi đã hỏi câu hỏi này một thời gian trước đây trong math.stackexchange nơi tôi không nhận được câu trả lời nào.

Một điều tuyệt vời với định lý này là nó gợi ý các định lý giới hạn trong một số cài đặt trong đó định lý giới hạn trung tâm thông thường không áp dụng. Ví dụ, trong các tình huống phân phối entropy tối đa là một số phân phối bất thường, chẳng hạn như đối với các phân phối trên vòng tròn, nó gợi ý sự hội tụ cho phân phối đồng đều.

Sau khi nhìn xung quanh, tôi không thể tìm thấy bất kỳ ví dụ nào về sự hội tụ trong phân phối mà không hội tụ về entropy tương đối, vì vậy điều này thật khó để đo lường "sự vĩ đại" của kết quả đó.

Đối với tôi, có vẻ như kết quả này chỉ đơn giản là mô tả entropy tương đối của các sản phẩm tích chập. Nó thường được xem như một khung giải thích và bằng chứng thay thế của Định lý giới hạn trung tâm, và tôi không chắc nó có hàm ý trực tiếp trong lý thuyết xác suất (mặc dù nó có trong lý thuyết thông tin).

Từ Lý thuyết thông tin và Định lý giới hạn trung tâm (trang 19).

Định luật nhiệt động lực học thứ hai quy định rằng entropy nhiệt động luôn tăng theo thời gian, ngụ ý một số loại hội tụ cho trạng thái Gibbs. Bảo tồn năng lượng có nghĩa là không đổi trong suốt quá trình tiến hóa, vì vậy chúng ta có thể biết từ đầu trạng thái Gibbs sẽ là giới hạn. Chúng ta sẽ xem xét Định lý giới hạn trung tâm theo cách tương tự, bằng cách chỉ ra rằng entropy thông tin theo lý thuyết tăng đến mức tối đa khi chúng ta thực hiện các kết luận, ngụ ý sự hội tụ cho Gaussian. Bình thường hóa một cách thích hợp có nghĩa là phương sai không đổi trong các kết cấu để chúng ta có thể biết từ đầu Gaussian sẽ là giới hạn.$E$

$D(f_n\|\phi)\rightarrow 0$ đảm bảo rằng không có "khoảng cách" giữa phân phối tổng của các biến ngẫu nhiên và mật độ gaussian là chỉ vì định nghĩa của phân kỳ KL, vì vậy đó là bằng chứng chinh no. Có lẽ tôi đã hiểu nhầm câu hỏi của bạn.$n\rightarrow\infty$

Về điểm thứ hai khi bạn chỉ định, nó đã trả lời trong đoạn của bạn.