Tổng các biến ngẫu nhiên theo cấp số nhân độc lập

Chúng ta có thể chứng minh một kết quả tập trung sắc nét trên tổng các biến ngẫu nhiên theo cấp số nhân độc lập, tức là Đặt là các biến ngẫu nhiên độc lập sao cho . Đặt . Chúng tôi có thể chứng minh giới hạn của mẫu . Điều này diễn ra trực tiếp nếu chúng ta sử dụng dạng phương sai của giới hạn chernoff và do đó tôi tin là đúng, nhưng giới hạn mà tôi đọc yêu cầu giới hạn hoặc có một số phụ thuộc vào giới hạn của các biến. Ai đó có thể chỉ cho tôi một bằng chứng về những điều trên? $X_1, \ldots X_r$ $Pr(X_i < x) = 1 - e^{-x/\lambda_i}$ $Z = \sum X_i$ $Pr(|Z-\mu_Z|>t) < e^{-t^2/\sum (\lambda_i)^2}$

pr.probability randomness chernoff-bound

— NAg
nguồn

chỉ cần làm theo bằng chứng về chernoff: thật dễ dàng để ràng buộc thời điểm theo cấp số nhân của các biến ngẫu nhiên theo cấp số nhân.

— Sasho Nikolov

Tôi đã cố gắng lặp lại bằng chứng của chernoff. Tôi đã làm nó cho trường hợp đơn giản hơn khi tất cả . Tôi có thể có được mối quan hệ mà tôi đang tìm kiếm trong một điều kiện nhẹ của . Liệu một tình trạng như vậy phát sinh tự nhiên hay là do giải pháp không tốt của tôi?

λ_{i} = λ

$\lambda_i = \lambda$

t < n λ

$t < n\lambda$

— NAg

Kiểm tra Bổ đề 2.8 tại đây eprint.iacr.org/2010/076.pdf

— Sasho Nikolov

Vâng, điều này có ý nghĩa. Ngay cả trong Bổ đề của họ, họ có tình trạng trên là đủ nhỏ. Được rồi, giải pháp của tôi có vẻ đúng. Cảm ơn rất nhiều cho các liên kết và gợi ý.

t

$t$

— NAg

@SureshVenkat xong. NAg, tôi nghĩ rằng có một số lỗi chính tả trong câu hỏi của bạn. Đầu tiên, là một CDF rất kỳ lạ cho dương . Ý bạn là ? Nếu bạn đã làm, thì phương sai có dạng và ràng buộc chernoff của bạn trông không hoàn toàn đúng.

Pr [X_{i} < x] = e^{- λ_{i} x}

$\Pr[X_i < x] = e^{-\lambda_i x}$

x

$x$

Pr [X_{i} < x] = 1 - e^{- λ_{i} x}

$\Pr[X_i < x] = 1-e^{-\lambda_i x}$

λ_{i}^{- 2}

$\lambda_i^{-2}$

— Sasho Nikolov

Câu trả lời:

Để cụ thể, giả sử rằng pdf của rv là $X_i$

p (X_{i} = x) = \frac{1}{2} λ_{i} e^{- λ_{i} | x |} .

$p(X_i = x) = \frac{1}{2} \lambda_i e^{-\lambda_i|x|}.$

Đây là phân phối Laplace, hoặc phân phối theo cấp số nhân. Phương sai của nó là . Cdf là $\frac{2}{\lambda_i^2}$

Pr [X_{i} \leq x] = 1 - \frac{1}{2} e^{- λ_{i} x}

$\Pr[X_i \leq x] = 1 - \frac{1}{2}e^{-\lambda_i x}$

cho .

x \geq 0

$x \geq 0$

Hàm tạo thời điểm của là $X_i$

E e^{u X_{i}} = \frac{1}{1 - u^{2} / λ_{i}^{2}},

$\mathbf{E}\ e^{uX_i} = \frac{1}{1 - u^2/\lambda_i^2},$ cho . Sử dụng thực tế này và phương pháp mô men theo cấp số mũ là tiêu chuẩn trong chứng minh giới hạn của Chernoff, bạn nhận được điều đó cho và , bất đẳng thức sau đây giữ

| u | < λ_{i}

$|u| < \lambda_i$

X = \sum_{i} X_{i}

$X = \sum_i X_i$

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2 = 2\sum_i \lambda_i^{-2}$

Pr [X > t σ] < e^{- t^{2} / 4},

$\Pr[X > t\sigma] < e^{-t^2/4},$

miễn là . Bạn có thể tìm thấy một dẫn xuất chi tiết trong bằng chứng Bổ đề 2.8 của bài viết này .

t \leq 2 σ min_{i} λ_{i}

$t \leq 2\sigma \min_{i}{\lambda_i}$

— Sasho Nikolov
nguồn

Cảm ơn rất nhiều cho câu trả lời. Tuy nhiên, trong ứng dụng của tôi, không nhất thiết phải đúng là . Tuy nhiên, người ta sẽ mong đợi sự tập trung mạnh mẽ hơn nữa trong trường hợp . Chúng tôi có thể nhận được kết quả như vậy nếu chúng tôi không sử dụng xấp xỉ , điều này hạn chế phạm vi của trong chứng minh nhưng việc phân tích đó trở nên không thể quản lý được trong trường hợp khác . Bất kỳ đề nghị trên mặt trận đó?

t \leq \sqrt{2} σ m i n_{i} λ_{i}

$t \leq \sqrt{2} \sigma min_i \lambda _i$

t > \sqrt{2} σ m i n_{i} λ_{i}

$t > \sqrt{2} \sigma min_i \lambda _i$

1 / (1 - x) \leq e^{c x}

$1/(1-x) \leq e^{cx}$

t

$t$

λ_{i}^{'} s

$\lambda _i 's$

— NAg

đây sẽ là một cái vẫy tay mạnh mẽ, nhưng tôi hy vọng rằng các giá trị lớn như vậy rất có thể xảy ra khi chỉ một số lượng nhỏ vượt quá trung bình củabởi rất nhiều nhưng các biến số mũ đôi có đuôi nặng hơn gaussian và một số ít trong số chúng không thể tập trung chặt chẽ như vậy

X

$X$

X_{i}

$X_i$

| X_{i} |

$|X_i|$

— Sasho Nikolov

Tôi nhận ra những gì tôi đã viết ở trên là không rõ ràng: Tôi hy vọng rằng lối ra ở đuôi trông giống như đuôi của một rv , đó là tổng của một số lượng nhỏ rv lũy thừa gấp đôi Đuôi của không nên tiểu gaussian.

X

$X$

X^{'}

$X'$

X^{'}

$X'$

— Sasho Nikolov

Đối với bản phân phối Laplace, nếu bạn sử dụng ràng buộc Bernoulli, bạn có thể viết

E e^{u \sum_{i} X_{i}} = \prod_{i} \frac{1}{1 - u^{2} / λ_{i}^{2}} \leq \frac{1}{1 - u^{2} σ^{2} / 2},

$Ee^{u\sum_i X_i} = \prod_i \frac1{1-u^2/\lambda_i^2} \le \frac1{1-u^2\sigma^2/2},$ trong đó . Sau đó, phương pháp cổ điển Chernoff để cung cấp

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2=2\sum_i\lambda_i^{-2}$

Pr [\sum_{i} X_{i} \geq t σ] \leq \frac{1 + \sqrt{1 + 2 t^{2}}}{2} e^{1 - \sqrt{1 + 2 t^{2}}} \leq {\begin{cases} (e t / \sqrt{2} + 1) e^{- \sqrt{2} t} \\ e^{- t^{2} / 2 + t^{4} / 8} \end{cases} .

$\Pr[\sum_i X_i \ge t\sigma]\le \tfrac{1+\sqrt{1+2t^2}}{2} e^{1-\sqrt{1+2t^2}} \le\cases{ (et/\sqrt2+1) e^{-\sqrt{2}t} \\ e^{-t^2/2 + t^4/8}} .$

Lưu ý rằng các giới hạn này giữ cho các giá trị không giới hạn của và . Các giới hạn bên phải cho thấy hai chế độ có thể. Đối với các giá trị nhỏ của chúng tôi nhận được nồng độ 'bình thường' , trong khi đối với các giá trị lớn của chúng tôi nhận được , cũng là CDF cho một biến phân phối Laplace duy nhất. $t$ $\lambda_i$ $t$ $e^{-t^2/2}$ $t$ $\approx e^{-\sqrt{2}t}$

Các ràng buộc cho phép bạn suy giữa hai tình huống này, nhưng tôi nghi ngờ rằng trong hầu hết các trường hợp, một sẽ vững ở một trong hai lớn hoặc nhỏ trại. $1-\sqrt{1+2t^2}$ $t$ $t$

Đối với phân phối theo cấp số nhân, các kỹ thuật tương tự cung cấp cho chúng tôi trong đó . Do đó Vì vậy, bạn vẫn nhận được một cái gì đó trông hơi bình thường, nhưng với chứ không phải là như chúng ta có thể hy vọng. Tôi không biết liệu có thể bị ràng buộc về phương sai không. Bạn có thể thử học , nhưng dường như không dễ để làm việc với nó. $Ee^{u\sum_iX_i}\le\frac{1}{1-u\mu}$ $\mu=\sum_i 1/\lambda_i$

Pr [(\sum_{i} X_{i}) - μ \geq t μ] \leq (t + 1) e^{- t} \leq e^{- t^{2} / 2 + t^{3} / 3} .

$\Pr[(\sum_i X_i)-\mu \ge t\mu]\le (t+1) e^{-t} \le e^{-t^2/2+t^3/3}.$

t μ

$t\mu$

t σ

$t\sigma$

E e^{u (\sum X_{i} - μ)^{2}}

$Ee^{u(\sum X_i-\mu)^2}$

— Thomas Ahle
nguồn

Tôi không có thời gian để tìm hiểu chi tiết nhưng tôi chắc chắn 99,9% rằng người ta có thể bị ràng buộc với các biến ngẫu nhiên phân tán theo cấp số nhân phụ thuộc vào phương sai. Ràng buộc của bạn về chức năng tạo khoảnh khắc trông quá lỏng lẻo.

— Warren Schudy

@Warren Schudy, cách tiếp cận của bạn là gì?

— Thomas Ahle

Hai cách tiếp cận rõ ràng mà tôi thấy: 1. Ràng buộc thứ hai được liệt kê tại en.wikipedia.org/wiki/ đá có vẻ như nó sẽ hoạt động. 2. Tìm một ràng buộc chặt chẽ hơn về chức năng tạo khoảnh khắc.

— Warren Schudy

@WarrenSchudy Giới hạn Bernstein cung cấp cho , nhưng chỉ dành cho . Tôi cho rằng điều này tương tự như câu trả lời của Sasho.

Pr [\sum_{i} X_{i} \geq t σ] \leq e^{- t^{2} / 2}

$\Pr[\sum_iX_i\ge t\sigma]\le e^{-t^2/2}$

t \leq σ min_{i} λ_{i} / 2

$t\le\sigma\min_i\lambda_i/2$

— Thomas Ahle

Không thể tránh khỏi những giới hạn theo kiểu Gaussian sẽ dừng lại ở một thời điểm nào đó. Ngay cả một biến ngẫu nhiên phân tán theo cấp số nhân cuối cùng cũng có đuôi béo hơn bất kỳ Gaussian nào.

— Warren Schudy