Bằng chứng cho thấy một cấu trúc sâu hơn

35

Bằng chứng tiêu chuẩn về ràng buộc của Chernoff (từ sách giáo khoa Thuật toán ngẫu nhiên ) sử dụng các hàm tạo bất đẳng thức và thời điểm Markov, với một chút mở rộng Taylor được đưa vào. Không có gì quá khó khăn, nhưng hơi máy móc.

Nhưng có những bằng chứng ràng buộc khác của Chernoff cho thấy cấu trúc sâu hơn dẫn đến kết quả. Ví dụ, có một phiên bản lý thuyết thông tin đi qua phương pháp các loại, được minh họa bằng bài báo này của Impagliazzo và Kabanets , cũng như bài đăng ngắn gọn này của Sanjoy Dasgupta . Những bằng chứng sau này "trực quan" hơn ở chỗ chúng cung cấp một khái quát về kết quả tiêu chuẩn, cũng như giải thích các thuật ngữ hài hước trong số mũ xuất phát từ đâu (đó là phân kỳ KL).

Ví dụ tốt về những điều như vậy là gì? Để cụ thể hơn, đây là các quy tắc:

Tuyên bố nên được biết đến một cách hợp lý (loại điều sẽ được dạy trong một số loại lớp sau đại học)

Cần có một bằng chứng "tiêu chuẩn" có sẵn trong sách giáo khoa hoặc tài liệu tham khảo tiêu chuẩn được "dạy" thông thường

Cần có một bằng chứng thay thế không được biết đến nhiều, KHÔNG được dạy phổ biến và chứng minh một tuyên bố chung chung hơn hoặc liên kết tuyên bố với cấu trúc toán học sâu hơn.

Tôi sẽ bắt đầu với hai ví dụ.

Chernoff ràng buộc
- Bằng chứng "sách giáo khoa": bất đẳng thức markov, hàm tạo mô men, mở rộng Taylor (MR)
- Bằng chứng không phổ biến và sâu sắc: phương pháp các loại, số mũ của đuôi liên quan đến phân kỳ KL
Bổ đề Schwartz-Zippel
- Bằng chứng "sách giáo khoa": trường hợp cơ sở liên quan đến đa thức đơn biến. Cảm ứng về số lượng biến
- Bằng chứng "không phổ biến": lập luận hình học thông qua Dana Moshkovitz (và Per Vognsen )

Một ví dụ cho mỗi câu trả lời xin vui lòng.

ps Tôi không nhất thiết ngụ ý rằng bằng chứng không phổ biến nên được dạy: một bằng chứng trực tiếp thường dễ dàng hơn cho sinh viên. Nhưng theo nghĩa là "bằng chứng giúp chúng ta hiểu", những bằng chứng thay thế này rất hữu ích.

big-list proofs

— Suresh Venkat
nguồn

23

Tôi không chắc đây là thứ bạn đang tìm kiếm, vì tôi đã thấy bằng chứng "không phổ biến" trong sách giáo khoa, nhưng: thời gian O (n log n) bị ràng buộc cho quicksort.

Bằng chứng "Sách giáo khoa": thiết lập mối quan hệ tái phát ngẫu nhiên, chứng minh bằng cảm ứng rằng nó có giải pháp mong muốn.
Bằng chứng "không phổ biến": tìm một công thức đơn giản cho xác suất có hai yếu tố được so sánh (chỉ là 2 / (d + 1) trong đó d là sự khác biệt giữa các thứ hạng của chúng theo thứ tự được sắp xếp) và sử dụng tuyến tính của chuỗi kỳ vọng và chuỗi hài để tính số lượng cặp dự kiến được so sánh.

Bằng chứng sách giáo khoa đòi hỏi cái nhìn sâu sắc ít sáng tạo hơn, nhưng bằng chứng không phổ biến giới thiệu một kỹ thuật rất hữu ích trong phân tích thuật toán khác, ví dụ như đối với các thuật toán gia tăng ngẫu nhiên trong hình học tính toán.

— David Eppstein
nguồn

3

Tôi nghĩ rằng điều này làm việc. đó là một ví dụ hay bạn đúng rằng bằng chứng 'không phổ biến' cũng có trong sách giáo khoa, nhưng vẫn không phổ biến.

— Suresh Venkat

1

Tôi đã dạy những sinh viên chưa tốt nghiệp bằng chứng "không phổ biến" trong hơn một thập kỷ.

— Jeffε

Tôi không biết người khác nghĩ gì về nó; nhưng Jon Bentley đã đưa ra một phân tích thời gian chạy rất thanh lịch cho thời gian chạy dự kiến sắp xếp nhanh trong văn bản Beautiful Code. Bạn cũng có thể tích lũy video của anh ấy trong cùng một chủ đề <a href=" youtube.com/watch?v=aMnn0Jq0J-E"> tại đây </ a >. Tôi khá chắc chắn đây là "phân tích của cuốn sách" về thời gian chạy dự kiến của quicksort

— Akash Kumar

19

Tôi sẽ đưa ra một từ sự phức tạp, bằng chứng cho thấy BPP nằm trong . Bằng chứng sách giáo khoa là do Lautemann, chỉ cần viết biểu thức và cho thấy nó hoạt động với một đối số xác suất đơn giản. Các bằng chứng hiếm gặp: Đoán một hàm cứng ( đoán, để kiểm tra độ cứng) và cắm nó vào máy phát điện Nisan-Wigderson. $\Sigma_2^p$ $\exists\forall$ $\exists$ $\forall$

— Lance Fortnow
nguồn

Thêm vào đó, bằng chứng của Lautemann đơn giản hóa rất nhiều bằng chứng của Sipser (1983), được gán bởi Sipser cho Gacs.

— MS Dousti

1

Có một tài liệu tham khảo cho bằng chứng "không phổ biến", hay đó là văn hóa dân gian?

— MS Dousti

2

Bằng chứng là trong bài báo của Nisan-Wigderson.

— Lance Fortnow

2

Đó là một "bằng chứng không phổ biến", nhưng "sự hiểu biết mới" từ bằng chứng này là gì? Tôi nghĩ rằng bằng chứng của Lautemann là sáng sủa hơn. Am i thiếu cái gì ở đây?

— V Vinay

13

$\sum_i a_iX_i$ $\pm 1$ $X_i$ $\sigma = \|a\|_2$ $t \ge 2$

\begin{array}{rcl} E [{(\sum_{i} a_{i} X_{i})}^{t}] & = & \sum_{i_{1}, \dots, i_{t}} (\prod_{j = 1}^{t} a_{i_{j}}) E [\prod_{j = 1}^{t} X_{i_{j}}] \\ \leq & \sum_{i_{1}, \dots, i_{t}} (\prod_{j = 1}^{t} | a_{i_{j}} |) E [\prod_{j = 1}^{t} X_{i_{j}}] \\ = & \sum_{\begin{matrix} i_{1} < \dots < i_{m} \\ r_{1}, \dots, r_{m} \\ \sum_{j} r_{j} = t \\ \forall j r_{j} > 0 \end{matrix}} (\binom{t}{r_{1}, \dots, r_{m}}) (\prod_{j = 1}^{m} | a_{i_{j}} |^{r_{j}}) (\prod_{j = 1}^{m} E [X_{i_{j}}^{r_{j}}]) \end{array}

$\begin{eqnarray*} \mathbf{E}\left[\left(\sum_i a_iX_i\right)^t\right] &=& \sum_{i_1,\ldots,i_t} \left(\prod_{j=1}^t a_{i_j}\right) \mathbf{E}\left[\prod_{j=1}^t X_{i_j}\right]\\ &\le& \sum_{i_1,\ldots,i_t} \left(\prod_{j=1}^t |a_{i_j}|\right) \mathbf{E}\left[\prod_{j=1}^t X_{i_j}\right]\\ &=& \sum_{\substack{i_1<\ldots< i_m\\ r_1,\ldots,r_m\\ \sum_j r_j = t\\ \forall j\ r_j > 0}} \binom{t}{r_1,\ldots,r_m}\left(\prod_{j=1}^m |a_{i_j}|^{r_j}\right)\left(\prod_{j=1}^m \mathbf{E}[X_{i_j}^{r_j}]\right) \end{eqnarray*}$

Bây giờ, hãy nhìn vào số tiền trên ở bên phải. Trong bất kỳ triệu hồi nào, một số là số lẻ, làm cho kỳ vọng hoặc tất cả đều là số chẵn, biến nó thành . Hãy tưởng tượng thay thế tất cả bằng Gaussian . Sau đó, chúng ta sẽ ở trong một kịch bản tương tự: lẻ sẽ cho và tất cả thậm chí sẽ tạo ra sản phẩm ít nhất là . Vì vậy, thuật ngữ trường hợp Gaussian theo thuật ngữ thống trị trường hợp Bernoulli. Như vậy $r_j$ $0$ $1$ $X_i$ $G_i$ $r_j$ $0$ $r_j$ $1$

E [{(\sum_{i} a_{i} X_{i})}^{t}] \leq E [{(\sum_{i} | a_{i} | G_{i})}^{t}]

$\mathbf{E}\left[\left(\sum_i a_iX_i\right)^t\right] \le \mathbf{E}\left[\left(\sum_i |a_i|G_i\right)^t\right]$

Nhưng, bởi tính ổn định của Gaussian, tự nó là một Gaussian với độ lệch chuẩn , vì vậy chúng tôi biết những khoảnh khắc của nó! Do đó, khoảnh khắc thứ của chúng ta bị giới hạn bởi (Đại khái là ); điều này được gọi là bất bình đẳng của Khintchine. Sau đó, $2$ $\sum_i |a_i| G_i$ $\|a\|_2$ $t$ $\|a\|_2^t \cdot t! / (2^{t/2} \cdot (t/2)!)$ $\|a\|_2^tt^{t/2}$

P r [| \sum_{i} a_{i} X_{i} | > λ] < 2^{O (t)} \cdot λ^{- t} \cdot ‖ a ‖_{2}^{t} t^{t / 2}

$\mathbf{Pr}\left[\left|\sum_i a_iX_i\right| > \lambda\right] < 2^{O(t)}\cdot \lambda^{-t}\cdot \|a\|_2^t t^{t/2}$ Đặt cho hằng số đủ lớn và bạn có đuôi Gaussian bị ràng buộc . Lần đầu tiên tôi nghe thấy bằng chứng về sự bất bình đẳng của Khintchine khi trò chuyện với Daniel Kane, nhưng có lẽ có một tài liệu tham khảo cũ hơn. Lưu ý bằng chứng cũng cho thấy rõ mức độ độc lập giữa các mà bạn cần để có được các giới hạn đuôi khác nhau.

t = λ^{2} / (C \cdot ‖ a ‖_{2}^{2})

$t = \lambda^2 / (C\cdot \|a\|_2^2)$

C

$C$

e x p (- Ω (λ^{2} / ‖ a ‖_{2}^{2}))

$\mathrm{exp}(-\Omega(\lambda^2 / \|a\|_2^2))$

X_{i}

$X_i$

— Jelani Nelson
nguồn

6

Minc phỏng đoán và Brégman đã chứng minh rằng nếu là ma trận 0-1 với 1's ở hàng , thì vĩnh viễn của nhiều nhất là Có một bằng chứng ngắn trong sách giáo khoa Phương pháp xác suất của Alon và Spencer , nhưng có thể cho rằng bằng chứng "cuốn sách" là bằng chứng của Jaikumar Radhakrishnan sử dụng entropy ( J. Combin. Theory Ser. A 77 (1997), 161-164). Hoàn toàn không rõ ràng từ tuyên bố về kết quả rằng khái niệm entropy nằm dưới bề mặt ở đây. $A$ $r_i$ $i$ $A$

\prod_{i} (r_{i}!)^{1 / r_{i}} .

$\prod_i (r_i!)^{1/r_i}.$

— Timothy Chow
nguồn