Phân phối xác suất đặc biệt

Nếu là phân phối xác suất có giá trị khác không trên , thì loại nào tồn tại hằng số sao cho với mọi ?$p(x)$$[0,+\infty)$$p(x)$$c\gt 0$$\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$$0\lt\epsilon\lt 1$

Sự bất bình đẳng ở trên thực sự là sự phân kỳ Kullback-Leibler giữa phân phối và phiên bản nén của nó . Tôi đã phát hiện ra rằng sự bất bình đẳng này phù hợp với các phân phối Exponential, Gamma và Weibull và tôi muốn biết liệu điều đó có hiệu quả đối với một lớp phân phối xác suất lớn hơn không.$p(x)$${(1+\epsilon)}p({x}{(1+\epsilon)})$

Bất kỳ ý tưởng bất bình đẳng có nghĩa là gì?

Sơ bộ

Viết

$$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$$

Các logarit và mối quan hệ giữa và đề nghị biểu thị cả và đối số của nó là số mũ. Cuối cùng, xác địnhp ( x ) p ( x ( 1 + ε ) ) $p(x)$$p(x(1+\epsilon))$$p$

$$q(y) = \log(p(e^y))$$

với tất cả thực mà bên phải được xác định và bằng ở bất cứ đâu . Lưu ý rằng sự thay đổi của các biến đòi hỏi và (lấy là mật độ phân phối) mà Luật xác suất tổng thể có thể được biểu thị bằng$y$$-\infty$$p(e^y)=0$$x=e^y$$dx=e^y dy$$p$

$$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$$

Giả sử khi . $e^{q(y)+y}\to 0$$y\to\pm\infty$ Điều này loại trừ phân phối xác suất với vô số gai có mật độ gần hoặc . Cụ thể, nếu đuôi của cuối cùng là đơn điệu, ngụ ý giả định này, cho thấy nó không phải là một vấn đề nghiêm trọng.$p$$0$$\infty$$p$$(1)$

Để làm việc với logarit dễ dàng hơn, cũng quan sát rằng

$$1+\epsilon = e^\epsilon + O(\epsilon^2).$$

Bởi vì các tính toán sau sẽ được thực hiện lên tới bội số của , hãy xác định$\epsilon^2$

$$\delta = \log(1+\epsilon).$$

Chúng tôi cũng có thể thay thế bằng , với tương ứng với và positive tương ứng với positive .1 + ε e delta delta = 0 ε = 0 delta $1+\epsilon$$e^\delta$$\delta=0$$\epsilon=0$$\delta$$\epsilon$

Phân tích

Một cách rõ ràng trong đó bất đẳng thức có thể thất bại là tích phân để phân kỳ cho một số . Ví dụ, điều này sẽ xảy ra nếu bất kỳ khoảng thích hợp nào của các số dương, dù nhỏ đến đâu, trong đó đều bằng 0 nhưng không bằng 0 trên khoảng . Điều đó sẽ khiến tích phân trở thành vô hạn với xác suất dương.Tôi p (ϵ)ϵ∈(0,1$\mathcal{I}_p(\epsilon)$$\epsilon \in (0, 1]$[ u , v ] p p [ u - ϵ , v - ϵ $[u, v]$$p$$p$$[u-\epsilon, v-\epsilon]$

Vì câu hỏi không đặc biệt liên quan đến bản chất của , chúng tôi có thể bị sa lầy vào các vấn đề kỹ thuật liên quan đến việc có thể trơn tru như thế nào . Chúng ta hãy tránh những vấn đề như vậy, vẫn hy vọng đạt được một số hiểu biết, bằng cách giả sử rằng ở mọi nơi có nhiều dẫn xuất như chúng ta có thể quan tâm để sử dụng. (Hai sẽ đủ nếu là liên tục.) Bởi vì đó đảm bảo cốt giáp trên bất kỳ thiết bị chặn, nó ngụ ý rằng là không bao giờ bằng không khi .$p$$p$$q$$q^{\prime\prime}$$q$$p(x)$$x \gt 0$

Lưu ý rằng câu hỏi thực sự liên quan đến hành vi của khi tiếp cận 0 từ trên xuống. Vì tích phân này là hàm liên tục của trong khoảng , nên nó đạt được một số tối đa khi bị giới hạn ở bất kỳ khoảng dương nào , cho phép chúng tôi chọn , vì rõ ràng$\mathcal{I}_p(\epsilon)$$\epsilon$$\epsilon$$(0,1]$$M_p(a)$$\epsilon$$[a,1]$$c = M_p(a)/a^2$

$$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$$

làm cho bất bình đẳng làm việc Đây là lý do tại sao chúng ta chỉ cần quan tâm đến modulo .$\epsilon^2$

Giải pháp

Sử dụng các thay đổi của biến từ thành , từ thành và thành , hãy tính thông qua thứ tự thứ hai trong (hoặc ) với hy vọng đạt được một sự đơn giản hóa. Để kết thúc đó xác định$x$$y$$p$$q$$\epsilon$$\delta$$\mathcal{I}_p(\epsilon)$$\epsilon$$\delta$

$$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$$

là phần còn lại - phần còn lại trong bản mở rộng Taylor của quanh .$2$$q$$y$

$$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$$

Thay đổi các biến thành trong tích phân bên trái cho thấy nó phải biến mất, như được nhận xét trong giả định sau . Thay đổi các biến trở lại trong tích phân bên tay phải$q(y)+y$$(1)$$x=e^y$

$$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$$

Bất bình đẳng giữ (theo các giả định kỹ thuật khác nhau của chúng tôi) khi và chỉ khi hệ số ở phía bên tay phải là hữu hạn.$\delta^2$

Diễn dịch

Đây là một điểm tốt để dừng lại, bởi vì nó dường như phát hiện ra vấn đề thiết yếu: bị ràng buộc bởi một hàm bậc hai của khi lỗi bậc hai trong bản mở rộng Taylor của không phát nổ (liên quan đến phân phối) khi tiếp cận .$\mathcal{I}_p(\epsilon)$$\epsilon$$q$$y$$\pm\infty$

Hãy kiểm tra một số trường hợp được đề cập trong câu hỏi: phân phối theo cấp số nhân và Gamma. (Số mũ là trường hợp đặc biệt của Gamma.) Chúng tôi không bao giờ phải lo lắng về các tham số tỷ lệ, vì chúng chỉ thay đổi các đơn vị đo lường. Chỉ các thông số không quy mô quan trọng.

Ở đây, vì cho , Bản mở rộng Taylor xung quanh một tùy ý làĐịnh lý Taylor với phần còn lại ngụ ý bị chi phối bởi cho đủ nhỏ . Vì kỳ vọng của là hữu hạn, nên bất bình đẳng giữ cho các phân phối Gamma.$p(x) = x^k e^{-x}$$k \gt -1$

$$q(y) = -e^y + k y - \log\Gamma(k+1).$$ $y$ $$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$$ $\mathcal{R}(\log(x),\delta)$$e^{y+\delta}/2 \lt x$$\delta$$x$

Tính toán tương tự bao hàm sự bất bình đẳng đối với các bản phân phối Weibull, phân phối bán chuẩn, phân phối lognormal, vv Trong thực tế, để có được counterexamples chúng tôi sẽ cần phải vi phạm ít nhất một giả định, buộc chúng ta phải nhìn vào các bản phân phối nơi biến mất trên một số khoảng thời gian, hoặc là không liên tục hai lần khác nhau, hoặc có vô số chế độ. Đây là những thử nghiệm dễ dàng để áp dụng cho bất kỳ họ phân phối nào thường được sử dụng trong mô hình thống kê.$p$