Bằng chứng của phiên bản phi tiêu chuẩn này của Azuma là gì?

Trong Phụ lục B về Tăng cường và Quyền riêng tư khác biệt của Dwork và cộng sự, các tác giả nêu rõ kết quả sau đây mà không cần chứng minh và gọi đó là sự bất bình đẳng của Azuma:

Đặt là các biến ngẫu nhiên có giá trị thực sao cho mọi , $C_1, \dots, C_k$ $i \in [k]$

$\Pr[|C_i| \leq \alpha] = 1$ và

với mọi $(c_1, \dots, c_{i - 1}) \in \text{Supp}(C_1, \dots, C_{i - 1})$ , chúng tôi có $\text{E}[C_i \mid C_1 = c_1, \dots, C_{i - 1} = c_{i - 1}] \leq \beta$ .

Sau đó, với mọi $z > 0$ , chúng ta có $\Pr[\sum_{i = 1}^k C_i > k\beta + z \sqrt{k} \cdot \alpha] \leq e^{-z^2/2}$ .

Tôi đang gặp khó khăn khi chứng minh điều này. Các phiên bản tiêu chuẩn của Bất đẳng thức Azuma nói:

Giả sử $\{X_0, X_1, \dots, X_k\}$ là một martingale và $|X_i - X_{i - 1}| \leq \gamma_i$ gần như chắc chắn. Sau đó, với tất cả $t > 0$ , chúng ta có $\Pr[X_k \geq t] \leq \exp(-t^2/(2 \sum_{i = 1}^k \gamma_i^2))$ .

Để chứng minh phiên bản bất bình đẳng của Azuma do Dwork và cộng sự đã nêu, tôi đã hình dung chúng ta nên lấy và . Theo cách đó, tôi nghĩ là một martingale. Nhưng tất cả những gì chúng ta có thể nói là gần như chắc chắn, phải không? Yếu tố đó gây ra hai sự cố, vì điều đó có nghĩa là sau khi thay thế, chúng tôi chỉ thấy rằng , yếu hơn kết luận được nêu bởi Dwork et al. $X_0 = 0$ $X_i = X_{i - 1} + C_i - \text{E}[C_i \mid C_1, C_2, \dots, C_{i - 1}]$ $\{X_0, \dots, X_k\}$ $|X_i - X_{i - 1}| \leq 2\alpha$ $\Pr[\sum_{i = 1}^k C_i > k\beta + z\sqrt{k} \cdot 2\alpha] \leq e^{-z^2/2}$

Có một mẹo đơn giản tôi đang thiếu? Là tuyên bố của Dwork et al. thiếu một yếu tố của hai?

pr.probability

— William Hoza
nguồn

Tuyên bố trong bài báo là đúng, nhưng không tuân theo phiên bản "thông thường" của bất đẳng thức Azuma. Vấn đề là câu lệnh thông thường giả sử nhưng bất kỳ khoảng nào có cùng độ dài sẽ làm; không có lý do để giả định một khoảng đối xứng.

Xi−Xi−1∈[−a,a] $X_i-X_{i-1}\in[-a,a]$

— Thomas hỗ trợ Monica

Tôi không thể tìm thấy tài liệu tham khảo, vì vậy tôi sẽ chỉ phác thảo bằng chứng ở đây.

Định lý. Đặt là các biến ngẫu nhiên thực sự. Đặt là hằng số. Giả sử rằng, đối với tất cả và tất cả trong sự hỗ trợ của , chúng ta có $X_1, \cdots, X_n$ $a_1, \cdots, a_n, b_1, \cdots, b_n$ $i \in \{1,\cdots,n\}$ $(x_1,\cdots,x_{i-1})$ $(X_1, \cdots, X_{i-1})$

$\mathbb{E}[X_i | X_1=x_1, \cdots, X_{i-1}=x_{i-1}] \leq 0$ và

$\mathbb{P}[X_i \in [a_i,b_i]]=1$ .

Sau đó, với tất cả , $t\geq0$
$P [\sum i = 1 n X i \geq t] \leq exp (- 2 t 2 \sum n i = 1 ( b i - a i ) 2) .$ $\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right] \leq \exp\left(\frac{-2t^2}{\sum_{i=1}^n (b_i-a_i)^2}\right).$

Bằng chứng. Xác định . Chúng tôi khẳng định rằng Với tất cả và , chúng tôi có Theo giả định, và cho tất cả trong sự hỗ trợ của $Y_i = \sum_{j=1}^i X_j$

\forall i \in {1, \dots, n} \forall λ \geq 0 E [e λ Y i] \leq e 1 8 λ 2 \sum i j = 1 (b j - a j) 2 . (*)

$\forall i \in \{1,\cdots,n\}~\forall \lambda \geq 0 ~~~~~ \mathbb{E}\left[e^{\lambda Y_i}\right] \leq e^{\frac18 \lambda^2 \sum_{j=1}^i (b_j-a_j)^2}.\tag*{(*)}$

i $i$

λ $\lambda$

E [e λ Y i] = E [e λ Y i - 1 \cdot e λ X i] = E [e λ Y i - 1 \cdot E [e λ X i ∣ ∣ Y i - 1]] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{\lambda X_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot \mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}\right]\right].$

μ(yi−1):=E[Xi|Yi−1=yi−1]≤0 $\mu(y_{i-1}):=\mathbb{E}[X_i|Y_{i-1}=y_{i-1}]\leq 0$

P[Xi∈[ai,bi]]=1 $\mathbb{P}[X_i \in [a_i,b_i]] =1$

yi−1 $y_{i-1}$

Yi−1 $Y_{i-1}$ . (Lưu ý rằng .) Do đó, bởi bổ đề của Hoeffding , cho tất cả trong sự hỗ trợ của và tất cả . Vì , nên chúng tôi có, với tất cả , Bây giờ cảm ứng mang lại yêu cầu (*) ở trên.

Yi−1=X1+⋯+Xi−1 $Y_{i-1}=X_1+\cdots+X_{i-1}$

E [e λ X i ∣ ∣ Y i - 1 = y i - 1] \leq e λ μ (y i - 1) + 1 8 λ 2 (b i - a i) 2

$\mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}=y_{i-1}\right] \leq e^{\lambda\mu(y_{i-1})+\frac18 \lambda^2(b_i-a_i)^2}$

yi−1 $y_{i-1}$

Yi−1 $Y_{i-1}$

λ∈R $\lambda \in \mathbb{R}$

μ(yi−1)≤0 $\mu(y_{i-1})\leq 0$

λ≥0 $\lambda \geq 0$

E [e λ Y i] \leq E [e λ Y i - 1 \cdot e 0 + 1 8 λ 2 (b i - a i) 2] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] \leq \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{0+\frac18 \lambda^2(b_i-a_i)^2}\right].$

Bây giờ chúng tôi áp dụng bất đẳng thức của Markov cho và sử dụng yêu cầu của chúng tôi (*). Với tất cả , Cuối cùng, đặt để giảm thiểu biểu thức bàn tay phải và thu được kết quả. $e^{\lambda Y_n}$ $t, \lambda > 0$

P [\sum i = 1 n X i \geq t] = P [Y n \geq t] = P [e λ Y n \geq e λ t] \leq E [ e λ Y n ] e λ t \leq e 1 8 λ 2 \sum n i = 1 ( b i - a i ) 2 e λ t .

$\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right]=\mathbb{P}[Y_n \geq t] = \mathbb{P}\left[e^{\lambda Y_n} \geq e^{\lambda t}\right] \leq \frac{\mathbb{E}\left[e^{\lambda Y_n}\right]}{e^{\lambda t}} \leq \frac{e^{\frac18 \lambda^2 \sum_{i=1}^n (b_i-a_i)^2}}{e^{\lambda t}}.$

λ=4t∑ni=1(bi−ai)2 $\lambda=\frac{4t}{\sum_{i=1}^n (b_i-a_i)^2}$

■ $\tag*{$\blacksquare$}$

Như tôi đã đề cập trong nhận xét của mình, sự khác biệt chính giữa điều này và tuyên bố "thông thường" về bất bình đẳng của Azuma là yêu cầu , thay vì . Cái trước cho phép linh hoạt hơn và điều này giúp tiết kiệm hệ số 2 trong một số trường hợp. $X_i \in [a_i,b_i]$ $X_i \in [-a,a]$

Lưu ý rằng các biến ngẫu nhiên trong bằng chứng là một siêu thị. Bạn có thể có được phiên bản thông thường của bất đẳng thức Azuma bằng cách lấy Martingale , đặt và (trong đó ), sau đó áp dụng kết quả trên. $Y_i$ $Y_1, \cdots, Y_n$ $X_i=Y_i-Y_{i-1}$ $[a_i,b_i]=[-c_i,c_i]$ $\mathbb{P}[|Y_i-Y_{i-1}|\leq c_i]=1$

— Thomas ủng hộ Monica
nguồn

Trong dòng đầu tiên của bằng chứng, có lẽ nên là (giới hạn trên của tổng là chứ không phải ) ....

Yi=∑ij=1Xj $Y_i = \sum_{j=1}^i X_j$

i $i$

n $n$

— Dougal

Bằng chứng cũng được đưa ra trong chuyên khảo của Dubhashi và Panconesi.

— Kristoffer Arnsfelt Hansen

@KristofferArnsfeltHansen: Tuyệt vời. Bạn có một liên kết?

— Thomas hỗ trợ Monica