Đảo ngược giới hạn

Có một giới hạn ngược lại bị ràng buộc mà giới hạn xác suất đuôi ít nhất là rất nhiều.

tức là nếu $X_1,X_2,\ldots,X_n$ là các biến ngẫu nhiên nhị thức độc lập và $\mu=\mathbb{E}[\sum_{i=1}^n X_i]$ . Sau đó, chúng ta có thể chứng minh $Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$ đối với một số chức năng $f$ .

Dưới đây là một bằng chứng rõ ràng rằng một ràng buộc tiêu chuẩn của Chernoff được thắt chặt với các yếu tố không đổi trong số mũ cho một phạm vi cụ thể của các tham số. (Đặc biệt, bất cứ khi nào các biến là 0 hoặc 1 và 1 với xác suất 1/2 hoặc ít hơn và và giới hạn trên của Chernoff nhỏ hơn một hằng số.)$\epsilon\in(0,1/2)$

Nếu bạn tìm thấy một sai lầm, xin vui lòng cho tôi biết.

Bổ đề 1. (độ chặt của ràng buộc Chernoff) Gọi là trung bình của độc lập, 0/1 biến ngẫu nhiên (rv). Đối với mọi và , giả sử ,$X$$k$$\epsilon\in(0,1/2]$$p\in(0,1/2]$$\epsilon^2 p k \ge 3$

(i) Nếu mỗi rv là 1 với xác suất nhiều nhất là , thì$p$

$$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

(ii) Nếu mỗi rv là 1 với xác suất ít nhất là , thì$p$

$$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

Bằng chứng. Chúng tôi sử dụng các quan sát sau đây:

Yêu cầu 1. Nếu , thì $1\le \ell \le k-1$$\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

Bằng chứng xác nhận quyền sở hữu 1. Bằng cách xấp xỉ của Stirling, trong đó$i!=\sqrt{2\pi i}(i/e)^ie^\lambda$$\lambda\in[1/(12i+1),1/12i].$

Do đó, , đó là , ít nhất là QED$k\choose \ell$$\frac{k!}{\ell! (k-\ell)!}$

$$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$$ $$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$$

Bằng chứng bổ đề 1 Phần (i). Không mất tính tổng quát giả sử mỗi biến ngẫu nhiên 0/1 trong tổng là 1 với xác suất chính xác là . Lưu ý bằng tổng và .$X$ $p$$\Pr[X\le (1-\epsilon)p]$$\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$$\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

Khắc phục . Các thuật ngữ trong tổng số đang tăng, do đó, các thuật ngữ có chỉ số mỗi thuật ngữ có giá trị ít nhất , vì vậy tổng của chúng có tổng giá trị ít nhất . Để hoàn thành bằng chứng, chúng tôi chỉ ra rằng $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$$i\ge\ell$$\Pr[X=\ell/k]$$(\epsilon pk - 2) \Pr[X=\ell/k]$

$$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$$

Các giả định và cho , vì vậy phía bên trái ở trên ít nhất là . Sử dụng Yêu cầu 1, để ràng buộc , lần lượt ít nhất là trong đó và $\epsilon^2pk\ge 3$$\epsilon\le 1/2$$\epsilon pk \ge 6$$\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$$k\choose \ell$$A\, B$$A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$$B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

Để hoàn tất, chúng tôi hiển thị và .$A\ge \exp(-\epsilon^2pk)$$B \ge \exp(-8\epsilon^2 pk)$

Yêu cầu 2. $A \ge \exp({-\epsilon^2 pk})$

Bằng chứng xác nhận quyền sở hữu 2. Các giả định và ngụ ý (i) .$\epsilon^2 pk \ge 3$$\epsilon\le 1/2$$pk\ge 12$

Theo định nghĩa, . Bởi (i), . Do đó, (ii) .$\ell \le pk + 1$$p k \ge 12$$\ell \,\le\, 1.1 pk$

Thay thế phía bên phải của (ii) cho trong sẽ cho (iii) .$\ell$$A$$A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

Giả định, , ngụ ý , với (iii) cho (iv) .$\epsilon^2 pk \ge 3$$\epsilon\sqrt{ pk} \ge \sqrt 3$$A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

Từ theo đó (v) .$\epsilon^2pk \ge 3$$\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

(iv) và (v) cùng đưa ra yêu cầu. QED

Yêu cầu 3. .$B\ge \exp({-8\epsilon^2 pk})$

Bằng chứng khiếu nại 3. Khắc phục sao cho . Lựa chọn ngụ ý , do đó, yêu cầu sẽ giữ miễn là . Lấy mỗi bên của bất đẳng thức sau này thành lũy thừa và đơn giản hóa, nó tương đương với Thay thế và đơn giản hóa, nó tương đương với $\delta$$\ell=(1-\delta)pk$
$\ell$$\delta\le 2\epsilon$$B \ge \exp(-2\delta^2pk)$$-1/\ell$

$$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$$ $\ell= (1-\delta)pk$ $$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$$ Lấy logarit của cả hai bên và sử dụng hai lần, nó sẽ giữ được miễn là Phía bên trái ở trên đơn giản hóa thành , nhỏ hơn vì . QED$\ln(1+z)\le z$ $$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$$ $\delta^2/\,(1-p)(1-\delta)$$2\delta^2/(1-\delta)$$p\le 1/2$

Khẳng định 2 và 3 ngụ ý . Điều này ngụ ý một phần (i) của bổ đề.$A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

Bằng chứng bổ đề 1 Phần (ii). Không mất tính tổng quát giả sử mỗi biến ngẫu nhiên là với xác suất chính xác là .$1$$p$

Lưu ý . Khắc phục .$\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$$\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

Các điều khoản cuối cùng trong tổng số ít nhất , ít nhất là . (Bằng chứng về điều đó giống như với (i), ngoại trừ thay thế bằng và thay thế bằng sao cho .) QED$\epsilon pk$$(\epsilon pk-2)\Pr[X=\hat\ell/k]$$\exp({-9\epsilon^2 pk})$$\ell$$\hat\ell$$\delta$$-\hat\delta$$\hat\ell = (1+\hat\delta)pk$

Các Berry-Esseen lý có thể đưa ra giới hạn đuôi khả năng thấp hơn, miễn là họ cao hơn .$n^{-1/2}$

Một công cụ khác bạn có thể sử dụng là bất đẳng thức Paley-Zygmund . Nó ngụ ý rằng với bất kỳ số nguyên chẵn và bất kỳ biến ngẫu nhiên có giá trị thực ,$k$$X$

$$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$$

Cùng với định lý đa cực, với một tổng số biến ngẫu nhiên rademacher Paley-Zygmund có thể giúp bạn có giới hạn dưới khá mạnh. Ngoài ra, nó hoạt động với các biến ngẫu nhiên độc lập ràng buộc. Ví dụ: bạn dễ dàng nhận được rằng tổng số biến ngẫu nhiên độc lập là với xác suất không đổi.$X$$n$$n$$\pm 1$$\Omega(\sqrt{n})$

Nếu bạn thực sự ổn với các khoản tiền giới hạn của các thử nghiệm Bernoulli (và không, giả sử, các biến ngẫu nhiên bị ràng buộc), thì sau đây là khá chặt chẽ.

Bất đẳng thức của bùn *. Đặt là iid rút ra từ một Bernoulli rv với và cho số nguyên được đưa ra. Nếu (a) và hoặc (b) , thì trong đó là cdf của một tiêu chuẩn thông thường.$\{X_i\}_{i=1}^n$$\mathbb{E}(X_1) = p$$k\leq n$$p\leq 1/4$$np \leq k$$np \leq k \leq n(1-p)$

$$\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$$ $\Phi$

(Coi đối số với là biến đổi tiêu chuẩn bình thường, điều này đồng ý chính xác với những gì CLT nói với bạn; thực tế, nó cho chúng ta biết rằng Binomials thỏa mãn các điều kiện của định lý sẽ chi phối Gaussian tương ứng của chúng ở đuôi trên.)$\Phi$

Từ đây, bạn có thể sử dụng giới hạn trên để có được thứ gì đó đẹp hơn. Chẳng hạn, trong cuốn sách đầu tiên của Fell, trong phần về Gaussian, nó được hiển thị cho mọi mà trong đó là mật độ của một tiêu chuẩn thông thường. Cũng có giới hạn tương tự trong bài viết Wikipedia cho "Q-function".$\Phi$$z>0$

$$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$$ $\varphi$

Ngoài ra, và những gì người khác đã nói, bạn cũng có thể thử sử dụng Binomial trực tiếp, có lẽ với một số Stirling.

(*) Một số tuyên bố mới hơn về bất bình đẳng của Slud bỏ qua một số điều kiện này; Tôi đã sao chép cái đó trong bài viết của Slud.

Định lý de Moivre-Laplace cho thấy các biến như, sau khi được chuẩn hóa phù hợp và trong các điều kiện nhất định, sẽ hội tụ phân phối thành phân phối bình thường. Thế là đủ nếu bạn muốn giới hạn thấp hơn liên tục.$|T\cap S_1|$

Đối với các giới hạn thấp hơn như , bạn cần một công cụ tốt hơn một chút. Đây là một tài liệu tham khảo mà tôi biết (nhưng chỉ là tình cờ - tôi chưa bao giờ có cơ hội sử dụng sự bất bình đẳng như vậy). Một số giới hạn rõ ràng về xác suất đuôi của phân phối nhị thức được đưa ra như Định lý 1.5 cuốn sách Đồ thị ngẫu nhiên của Béla Bollobás, Cambridge, ấn bản lần 2, trong đó các tài liệu tham khảo thêm được giới thiệu về Xác suất và ứng dụng của Feller và Cơ sở Xác suất của Rényi.$n^{-c}$

Định lý Littlewood-Offord được khái quát hóa không chính xác như bạn muốn, nhưng nó đưa ra những gì tôi nghĩ là "một khối ngược" bị ràng buộc bằng cách chỉ ra rằng tổng các biến ngẫu nhiên không có khả năng nằm trong một phạm vi nhỏ xung quanh bất kỳ giá trị cụ thể nào (bao gồm kỳ vọng). Có lẽ nó sẽ hữu ích.

Chính thức, định lý như sau.

Định lý Littlewood-Offord tổng quát : Đặt và là các số thực sao cho cho và để là các biến ngẫu nhiên độc lập có giá trị 0 và một. Với , giả sử rằng cho tất cả . Sau đó, với mọi , Trong đó là hằng số chỉ phụ thuộc vào .$a_1, \ldots, a_n$$s>0$$|a_i| \ge s$$1 \le i \le n$$X_1, \ldots, X_n$$0 < p \le \frac{1}{2}$$p \le \Pr[X_i = 0] \le 1-p$$1 \le i \le n$$r \in \mathcal{R}$

$$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$$ $c_p$$p$

Số mũ trong tiêu chuẩn Chernoff bị ràng buộc như được nêu trên Wikipedia rất chặt chẽ đối với các biến ngẫu nhiên có giá trị 0/1. Đặt và để là một chuỗi các biến ngẫu nhiên độc lập sao cho mỗi , và . Sau đó, với mọi , $0<p<1$$X_1,X_2,\ldots$$i$$\Pr[X_i=1]=p$$\Pr[X_i=0]=1-p$$\varepsilon>0$

$$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$$

Ở đây, , đó là phân kỳ Kullback-Leibler giữa Bernoulli ngẫu nhiên các biến có tham số và .$D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$$x$$y$

Như đã đề cập, giới hạn trên của bất đẳng thức ở trên được chứng minh trên Wikipedia ( https://en.wikipedia.org/wiki/Cécoff_bound ) dưới tên "Định lý Hooffff-Hoeffding, dạng phụ gia". Giới hạn dưới có thể được chứng minh bằng cách sử dụng ví dụ "phương pháp loại". Xem Bổ đề II.2 trong [1]. Ngoài ra, điều này được đề cập trong sách giáo khoa cổ điển về lý thuyết thông tin của Cover và Thomas.

[1] Imre Csiszár: Phương pháp của các loại. Giao dịch của IEEE về lý thuyết thông tin (1998). http://dx.doi.org/10.1109/18.720546