Giới hạn trên

Nếu $f$ là hàm lồi thì bất đẳng thức của Jensen nói rằng $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ và mutatis mutandis khi $f$ lõm. Rõ ràng trong trường hợp xấu nhất, bạn không thể giới hạn trên $\textbf{E}[f(x)]$ về mặt $f(\textbf{E}[x])$ cho một lồi $f$ , nhưng có một ràng buộc đi theo hướng này nếu $f$ là lồi nhưng "không quá lồi"? Có một số tiêu chuẩn ràng buộc cung cấp cho điều kiện về một hàm lồi $f$ (và có thể phân phối là tốt, nếu cần thiết) mà sẽ cho phép bạn để kết luận rằng $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ , trong $\varphi(f)$ là một số hàm của độ cong / mức độ lồi của $f$ ? Một cái gì đó giống với tình trạng của Lipschitz, có lẽ?

randomness pr.probability randomized-algorithms

— Ian
nguồn

Bỏ phiếu để đóng như lạc đề. math.stackexchange.com có thể?

— Aryabhata

Tôi nghĩ rằng câu hỏi này nên được mở; đây là loại bất bình đẳng mà nhiều nhà lý thuyết làm việc sẽ thấy hữu ích một cách thường xuyên.

— Aaron Roth

Tôi biết rằng điều này gần với toán học thuần túy hơn hầu hết các câu hỏi được đăng từ trước đến nay, nhưng tôi sẽ cho rằng đây là chủ đề vì loại điều này xuất hiện thường xuyên trong phân tích các thuật toán ngẫu nhiên (là ứng dụng tôi có trong lí trí). Tôi nghĩ rằng toán học được sử dụng nhiều trong khoa học máy tính nên được coi là trò chơi công bằng cho các câu hỏi.

— Ian

bỏ phiếu để giữ cho mở. chắc chắn về chủ đề

— Suresh Venkat

Tôi cũng bỏ phiếu để tiếp tục mở.

— Jeffε

EDIT: phiên bản gốc đã bỏ lỡ một giá trị tuyệt đối. lấy làm tiếc!!

Xin chào Ian. Tôi sẽ phác thảo ngắn gọn hai bất đẳng thức mẫu, một bằng cách sử dụng ràng buộc của Môi trường, một bằng cách sử dụng một ràng buộc trên đạo hàm thứ hai, và sau đó thảo luận về một số khó khăn trong vấn đề này. Mặc dù tôi đang dư thừa, vì cách tiếp cận sử dụng một công cụ phái sinh giải thích những gì xảy ra với nhiều công cụ phái sinh hơn (thông qua Taylor), hóa ra phiên bản phái sinh thứ hai khá hay.

Đầu tiên, với một ràng buộc của Lipschitz: chỉ cần làm lại bất đẳng thức Jensen tiêu chuẩn. Thủ thuật tương tự được áp dụng: tính toán mở rộng Taylor theo giá trị mong đợi.

Cụ thể, Hãy đã tương ứng đo , và bộ . Nếu có Lipschitz hằng , thì theo định lý Taylor $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

trong đó (lưu ý rằng và là có thể). Sử dụng điều này và làm việc lại bằng chứng Jensen (Tôi bị hoang tưởng và kiểm tra xem tiêu chuẩn thực sự có trên wikipedia), $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

Bây giờ, giả sử . Trong trường hợp này, $|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{″} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

và như vậy

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

Tôi muốn đề cập ngắn gọn một vài điều. Xin lỗi nếu chúng là rõ ràng.

Một là, bạn không thể chỉ nói "wlog " bằng cách thay đổi phân phối, bởi vì bạn đang thay đổi mối quan hệ giữa và . $\operatorname{E}(X) = 0$ $f$ $\mu$

Tiếp theo là ràng buộc phải phụ thuộc vào phân phối theo một cách nào đó. Để thấy điều này, hãy tưởng tượng rằng và . Dù giá trị của , bạn vẫn nhận được . Mặt khác, . Do đó, bằng cách thay đổi , bạn có thể tạo khoảng cách giữa hai số lượng tùy ý! Theo trực giác, khối lượng lớn hơn được đẩy ra khỏi giá trị trung bình và do đó, đối với bất kỳ hàm lồi nghiêm ngặt nào, sẽ tăng lên. $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ $f(\operatorname{E}(X)) = f(0) = 0$ $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ $\sigma$ $\operatorname{E} (f(X))$

Cuối cùng, tôi không thấy làm thế nào để có được một số nhân bị ràng buộc như bạn đề xuất. Tất cả mọi thứ tôi đã sử dụng trong bài đăng này đều là tiêu chuẩn: Định lý và giới hạn phái sinh của Taylor là bánh mì & bơ trong giới hạn thống kê và chúng tự động đưa ra phụ gia, không phải là lỗi nhân.

Tôi sẽ suy nghĩ về nó mặc dù, và đăng một cái gì đó. Trực giác mơ hồ là nó sẽ cần các điều kiện rất nặng nề về cả chức năng và phân phối, và ràng buộc phụ gia thực sự là trung tâm của nó.

— matus
nguồn

Mỗi lần tôi chỉnh sửa, câu trả lời bị xáo trộn. Vì vậy, tôi sẽ chỉ ra: ràng buộc phái sinh thứ hai là chặt chẽ cho ví dụ tôi đã đưa ra.

— matus

Tôi nghĩ rằng bạn đúng trong giới hạn phụ gia là tốt nhất có thể mà không cần nhiều điều kiện mạnh hơn về chức năng.

— Ian

Ian thân mến, tôi đã nghĩ về vấn đề này nhiều hơn một chút, nhưng khó khăn chính trong tâm trí tôi được gợi ý bởi ví dụ tôi đã đưa ra, trong đó , nhưng . Bạn có thể giới hạn cả họ chức năng (giới hạn, dẫn xuất giới hạn, có thể tích hợp) và phân phối (các kết nối mịn, giới hạn, giới hạn) và bạn vẫn có các ví dụ này. Nó đủ để có một hàm đối xứng, không âm bằng 0 tại giá trị trung bình của phân phối. Điều đó nói rằng, mọi thứ phụ thuộc vào các ràng buộc trong vấn đề chính xác của bạn. Trong trường hợp chung, tôi nghĩ rằng bản chất phụ gia là cơ bản.

f (E (X)) = 0

$f(\textrm E(X))= 0$

E (f (X)) > 0

$\textrm E (f(X)) > 0$

— matus

@Ian: Bằng chứng về sự bất bình đẳng của Chernoff và Azuma-Hoeffding sử dụng các lập luận gợi nhớ về điều này, vì vậy bạn có thể muốn đọc những điều đó để lấy cảm hứng. Xem ví dụ cuốn sách của Mitzenmacher và Upfal về tính ngẫu nhiên trong điện toán.

— Warren Schudy

Để hiểu rõ, hãy xem xét một phân phối tập trung vào hai giá trị; giả sử, với xác suất bằng 1/2 bằng 1 hoặc 3, khi đó . Lấy và . Hãy xem xét các hàm mà và . Bằng cách làm cho đủ nhỏ và kết nối liên tục giữa ba điểm này, chúng ta có thể làm cho độ cong của nhỏ như mong muốn. Sau đó $\textbf{E}[x] = 2$ $N >> 0$ $\epsilon > 0$ $f$ $f(1) = f(3)= N\epsilon$ $f(\textbf{E}[x]) = f(2) = \epsilon$ $\epsilon$ $f$ $f$

$\textbf{E}[f(x)] = N\epsilon$ , chưa

$N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$ .

Điều này cho thấy phải lớn tùy ý. $\varphi(f)$

— người bán hàng
nguồn