Bất đẳng thức xác suất

Tôi đang tìm kiếm một số bất đẳng thức xác suất cho tổng các biến ngẫu nhiên không giới hạn. Tôi thực sự sẽ đánh giá cao nó nếu bất cứ ai có thể cung cấp cho tôi một số suy nghĩ.

Vấn đề của tôi là tìm một giới hạn trên theo hàm mũ theo xác suất rằng tổng các biến ngẫu nhiên iid không liên kết, trên thực tế là phép nhân của hai iid Gaussian, vượt quá một số giá trị nhất định, ví dụ: , trong đó , và được tạo iid từ . $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

Tôi đã cố gắng sử dụng ràng buộc Chernoff bằng hàm tạo mô men (MGF), giới hạn dẫn xuất được đưa ra bởi:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

nơi $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ là MGF của $X$ . Nhưng ràng buộc không quá chặt chẽ. Vấn đề chính trong vấn đề của tôi là các biến ngẫu nhiên không bị ràng buộc và thật không may, tôi không thể sử dụng ràng buộc của bất đẳng thức Hoeffding.

Tôi sẽ rất vui nếu bạn giúp tôi tìm thấy một số ràng buộc theo cấp số nhân.

— Farzad
nguồn

Âm thanh như một vấn đề liên quan đến cảm biến nén. Tra cứu ghi chú R. Vershynin về lý thuyết ma trận ngẫu nhiên nonasymptotic, đặc biệt là giới hạn về những gì mà ông gọi là subexponential biến ngẫu nhiên. Điều đó sẽ giúp bạn bắt đầu. Nếu bạn cần thêm con trỏ, hãy cho chúng tôi biết và tôi sẽ cố gắng đăng thêm một số thông tin.

— Đức hồng y

Có ít nhất một vài câu hỏi và câu trả lời liên quan về chủ đề này trên math.SE (từ chối trách nhiệm: bao gồm một câu hỏi mà tôi đã tham gia).

— Đức hồng y

Sản phẩm có phân phối 'sản phẩm bình thường'. Tôi tin rằng giá trị trung bình của sản phẩm này là 0 và phương sai là trong đó là phương sai của và . Đối với largeish, bạn có thể sử dụng các định lý giới hạn trung tâm để có được norality gần đúng của . Nếu bạn có thể tính toán độ lệch của phân phối sản phẩm thông thường, tôi tin rằng bạn có thể áp dụng định lý Berry-Esseen để ràng buộc tốc độ hội tụ của CDF.

w_{i} v_{i}

$w_i v_i$

σ^{4}

$\sigma^4$

σ^{2}

$\sigma^2$

w_{i}

$w_i$

v_{i}

$v_i$

N

$N$

X

$X$

— shabbychef

@shabbychef, Berry-Esseen có hội tụ khá chậm, vì nó là một bộ đồng phục bị ràng buộc trên lớp của tất cả các chức năng phân phối .

F

$F$

— Đức hồng y

@DilipSarwate: Xin lỗi vì tôi mới thấy bình luận của bạn từ một lúc trước. Tôi nghĩ rằng bạn có thể quan tâm đến bài báo nhỏ sau đây, mà tôi đã liên kết với một vài lần về toán học. Cũng như: TK Phillips và R. Nelson (1995), Thời điểm bị ràng buộc chặt chẽ hơn ràng buộc của Chernoff cho đuôi tích cực xác suất , Thống kê người Mỹ , tập 42, không. 2., 175-178.

— Đức hồng y

Câu trả lời:

Sử dụng ràng buộc Chernoff mà bạn đề xuất cho một số sẽ được chỉ định sau, trong đó bất đẳng thức thứ hai giữ nhờ với mọi . Bây giờ lấy và , phía bên tay phải trở thành mang lại cho mọi . $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

Một cách khác là áp dụng trực tiếp các bất đẳng thức tập trung như bất đẳng thức Hanson-Wright hoặc bất đẳng thức tập trung cho hỗn loạn Gaussian của bậc 2 bao gồm biến ngẫu nhiên mà bạn quan tâm.

Cách tiếp cận đơn giản hơn mà không sử dụng chức năng tạo khoảnh khắc

Lấy để đơn giản (nếu không, người ta có thể bán lại bằng cách chia cho ). $\sigma=1$ $\sigma^2$

Viết và . Bạn đang yêu cầu giới hạn trên . $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$

Đặt. Khi đó do độc lập với và độc lập với với phân phối với bậc tự do. $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

Theo giới hạn tiêu chuẩn trên chuẩn bình thường và biến ngẫu nhiên, Kết hợp với liên kết giới hạn sẽ tạo giới hạn trên cho có dạng . $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

— jlewk
nguồn

Các ràng buộc bạn có được là theo thứ tự là . Tôi không nghĩ bạn có thể làm tốt hơn nhiều cho tướng . Từ trang Wikipedia trên Product Biến , phân phối của là trong đó là hàm Bessel được sửa đổi. Từ (10.25.3) trong danh sách hàm DLMF , sao cho đủ lớn sẽ không cung cấp cho bạn một ràng buộc Gaussian phụ. $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$

— BookYourLuck
nguồn