Hiểu bằng chứng về một bổ đề được sử dụng trong bất đẳng thức Hoeffding

Tôi đang nghiên cứu các bài giảng của Larry Wasserman về Thống kê sử dụng Casella và Berger làm văn bản chính. Tôi đang làm việc thông qua các ghi chú bài giảng của mình tập 2 và bị mắc kẹt trong việc tạo ra bổ đề được sử dụng trong bất đẳng thức của Hoeffding (tr.2-3). Tôi đang sao chép bằng chứng trong các ghi chú bên dưới và sau bằng chứng tôi sẽ chỉ ra nơi tôi bị mắc kẹt.

Bổ đề

Giả sử rằng và rằng . Sau đó . $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

Bằng chứng

Vì , chúng ta có thể viết dưới dạng kết hợp lồi của và , cụ thể là trong đó . Bằng cách lồi của hàm chúng ta có $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Hãy kỳ vọng của cả hai bên và sử dụng thực tế để có được $\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

trong đó , và . Lưu ý rằng . Ngoài ra cho tất cả . $u = t(b-a)$ $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ $\gamma = -a /(b-a)$ $g(0) = g^{'}(0) = 0$ $g^{''}(u) \le 1/4$ $u > 0$

Theo định lý của Taylor, có một sao cho $\varepsilon \in (0, u)$ $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Do đó . $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$

Tôi có thể làm theo bằng chứng cho đến

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ nhưng tôi không thể tìm ra cách lấy . $u, g(u), \gamma$

probability probability-inequalities

— Anand
nguồn

Điều thú vị là giá trị tối đa của là và do đó, kết quả là trông có vẻ quá quen thuộc để phát sinh từ sự trùng hợp tuyệt đối. Tôi nghi ngờ có thể có một cách khác, có thể dễ dàng hơn để rút ra kết quả thông qua lập luận xác suất.

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— Dilip Sarwate

@DilipSarwate Hiểu biết của tôi là phương sai tối đa xảy ra đối với một biến ngẫu nhiên thống nhất . Phương sai của là . Bạn có thể giải thích làm thế nào bạn có không?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Anand

Bằng cách tập trung khối lượng vào các điểm cuối ...

— Elvis

@DilipSarwate Tôi đã thêm một vài nhận xét trong bằng chứng, điều đó có thể làm rõ một chút tiêu đề tại sao trường hợp xấu nhất là phương sai tối đa.

— Elvis

@DilipSarwate - Xem bổ đề 1 và bài tập 1 tại đây: terrytao.wordpress.com/2010/01/03/ . Dường như có một dẫn xuất đơn giản hơn dựa vào sự bất bình đẳng của Jensen và sự mở rộng của taylor. Tuy nhiên, các chi tiết về điều này là không rõ ràng với tôi. Có lẽ ai đó có thể có ý nghĩa của nó. (dẫn xuất từ (9) đến (10) và bài tập 1)

— Leo

Tôi không chắc là tôi hiểu chính xác câu hỏi của bạn. Tôi sẽ cố gắng trả lời: cố gắng viết là một hàm của : này là tự nhiên khi bạn muốn một ràng buộc trong .

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

Được giúp đỡ bởi kinh nghiệm, bạn sẽ biết rằng tốt hơn là chọn viết nó dưới dạng . Sau đó, dẫn đến với . $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

Đó có phải là điều bạn đang yêu cầu?

Chỉnh sửa: một vài bình luận về bằng chứng

Thủ thuật đầu tiên đáng được xem xét cẩn thận: if là hàm lồi và là biến ngẫu nhiên có tâm, sau đó trong đó là biến rời rạc được xác định bởi Do đó, bạn nhận được rằng là biến trung tâm có hỗ trợ trong có phương sai cao nhất: Lưu ý rằng nếu chúng tôi sửa chiều rộng hỗ trợ $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ , đây là ít hơn như Dilip nói trong các nhận xét, điều này là do ; giới hạn đạt được cho . $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
Bây giờ chuyển sang vấn đề của chúng tôi. Tại sao có thể có được một ràng buộc chỉ phụ thuộc vào ? Theo trực giác, đó chỉ là vấn đề thay đổi kích thước của : nếu bạn có ràng buộc cho trường hợp , thì giới hạn chung có thể thu được bằng cách lấy . Bây giờ hãy nghĩ đến tập hợp các biến trung tâm với sự hỗ trợ của chiều rộng 1: không có quá nhiều tự do, vì vậy nên tồn tại một ràng buộc như . Một cách tiếp cận khác là nói đơn giản là bằng bổ đề trên trên , sau đó nói chung là , chỉ phụ thuộc vào và $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ : nếu bạn sửa và và để khác nhau, chỉ có một mức độ tự do, và , , . Chúng tôi nhận được Bạn chỉ cần tìm một ràng buộc chỉ liên quan đến . $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
Bây giờ chúng tôi tin rằng nó có thể được thực hiện, nó phải dễ dàng hơn nhiều! Bạn không nhất thiết phải nghĩ đến để bắt đầu. Vấn đề là bạn phải viết mọi thứ như một hàm của và . Lưu ý đầu tiên rằng , , và . Sau đó Bây giờ chúng ta đang ở trong trường hợp cụ thể ... Tôi nghĩ rằng bạn có thể hoàn thành. $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

Tôi hy vọng tôi đã làm rõ nó một chút.

— Elvis
nguồn

đó chính xác là những gì tôi đang tìm kiếm. Cảm ơn rất nhiều.

— Anand

@Anand Tôi biết thật khó để làm theo lời khuyên, tuy nhiên tôi nghĩ bạn không nên bắt đầu bằng cách tập trung vào các chi tiết kỹ thuật mà nên cố gắng hiểu tại sao một ràng buộc như vậy có thể tồn tại ... thì bằng chứng sẽ xuất hiện dễ dàng hơn. Tôi đã cố gắng chỉ cho bạn lý do tại sao trong phần thứ hai, được thêm vào sáng nay (bạn cần ngủ với một câu hỏi như thế này - ít nhất là tôi cần phải làm như vậy). Tôi nghĩ thật kinh khủng khi loại trực giác này không xuất hiện trong hầu hết các sách giáo khoa ... ngay cả khi bạn có phần kỹ thuật, miễn là bạn không có ý tưởng thì mọi thứ đều có vẻ kỳ diệu. Cảm ơn bạn và CrossV đã cho tôi cơ hội để suy nghĩ chi tiết về điều này!

— Elvis

Ồ +1 cho chỉnh sửa. Cảm ơn. Nhưng sẽ không tốt nếu có thể có được thứ gì đó như

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Dilip Sarwate

@Elvis Cảm ơn lời khuyên và đã dành thời gian để viết ra phần trực quan. Tôi cần dành một chút thời gian để hiểu điều này!

— Anand

@Elvis Lấy về trực giác, tôi muốn làm rõ sự hiểu biết của tôi. Để có được giới hạn sắc nét hơn, người ta cần những khoảnh khắc cao hơn. Markov sử dụng khoảnh khắc đầu tiên, Ch Quashev khoảnh khắc thứ hai và Hoeffding sử dụng mgf. Điều này có đúng không? Nếu ai đó có thể mở rộng và làm rõ phần này thì sẽ rất tuyệt.

— Anand