Lý thuyết thông tin được sử dụng để chứng minh các tuyên bố kết hợp gọn gàng?

Ví dụ yêu thích của bạn trong đó lý thuyết thông tin được sử dụng để chứng minh một tuyên bố kết hợp gọn gàng một cách đơn giản là gì?

Một số ví dụ tôi có thể nghĩ đến có liên quan đến giới hạn thấp hơn cho các mã có thể giải mã cục bộ, ví dụ, trong bài viết này : giả sử rằng đối với một chuỗi các chuỗi nhị phân có độ dài n giữ cho mọi i , với k i các cặp khác nhau { j 1 , j 2 }, e i = x j 1 ⊕ x j 2 . Khi đó m ít nhất là hàm mũ theo n, trong đó số mũ phụ thuộc tuyến tính vào tỷ lệ trung bình của $x_1,...,x_m$$n$$i$$k_i$$j_1,j_2$

Một ví dụ khác (có liên quan) là một số bất đẳng thức đẳng tích trên khối Boolean (hãy giải thích vấn đề này trong câu trả lời của bạn).

Bạn có ví dụ tốt hơn? Tốt nhất, ngắn gọn và dễ giải thích.

Bằng chứng của Moser về Bổ đề địa phương Lovasz mang tính xây dựng . Về cơ bản, ông cho thấy rằng, trong các điều kiện của bổ đề cục bộ, thuật toán đơn giản thứ hai cho SAT bạn có thể nghĩ về các công trình. (Đơn giản đầu tiên có thể là chỉ thử một phép gán ngẫu nhiên cho đến khi một phép làm việc đơn giản nhất Bằng chứng cho thấy điều này chạy trong thời gian đa thức có lẽ là cách sử dụng lý thuyết thông tin (hoặc độ phức tạp Kolmogorov), bất cứ điều gì bạn muốn gọi nó trong trường hợp này) tôi từng thấy.

Ví dụ yêu thích của tôi về loại này là bằng chứng dựa trên entropy dựa trên Bổ đề của Shearer's. (Tôi đã học được bằng chứng này và một vài cái rất đẹp khác từ Entropy và Counting của Jaikumar Radhakrishnan .)

Khẳng định: Giả sử bạn có điểm trong R 3 đã n x dự báo khác nhau về y z -plane, n y dự báo khác nhau trên x z -plane và n z dự báo khác nhau về x y -plane. Sau đó, n 2 ≤ n x n y n z .$n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$

Chứng minh: Đặt là một điểm được chọn thống nhất ngẫu nhiên từ n điểm. Gọi p x , p y , p z lần lượt là các hình chiếu của nó lên các mặt phẳng y z , x z và x y . $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

Một mặt, , H [ p x ] ≤ log n x , H [ p y ] ≤ log n y và H [ p z ] ≤ log n z , bởi đặc tính cơ bản của entropy.$H[p] = \log n$$H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

Mặt khác, chúng ta có và cả H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [

Như vậy, ta có , hoặc n 2 ≤ n x n y n z .$2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

Bằng chứng entropy của Radhakrishnan về Định lý Bregman, rằng số lượng khớp hoàn hảo trong đồ thị lưỡng cực ( L ∪ R , E ) nhiều nhất là ∏ v ∈ L ( d ( v ) ! ) 1 / d ( v ) . Bằng chứng sử dụng hai ý tưởng rất thông minh. Dưới đây là một bản phác thảo của bằng chứng:$p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• Chọn một kết hợp hoàn hảo thống nhất. Entropy của biến này là H ( M ) = log p .$M$$H(M) = \log p$
• Đối với , chúng ta hãy X v là đỉnh trong R mà là phù hợp với v trong M .$v \in L$$X_v$$R$$v$$M$
• Biến có cùng thông tin với M , vì vậy H ( M ) = H ( X ) .$X = (X_v : v \in L)$$M$$H(M) = H(X)$
• Clever Idea 1: Bằng cách ngẫu nhiên (và thống nhất) chọn một trật tự trên L , Radhakrishnan cung cấp một "quy tắc ngẫu nhiên chuỗi" nêu H ( X ) = Σ v ∈ L H ( X v | X u : u < v , ≤ ) .$\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• Từ thông tin trong các điều kiện ( ) ta có thể xác định N v = | N ( v ) ∖ X u : u < v | (đại khái: số lượng lựa chọn để khớp v ).${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• Vì được xác định từ thông tin này, nên entropy có điều kiện không thay đổi về đẳng thức H ( X v | X u : u < v , ≤ ) = H ( X v | X u : u < v , ≤ , N v ) .$N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• Clever Idea 2: Bằng cách "quên" thông tin , chúng ta có thể chỉ làm tăng entropy: H ( X v | X u : u < v , ≤ , N v ) ≤ H ( X v | N v ) .${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• Điên Thực tế: Biến được phân bố đều trên tập 1 , ... , d ( v ) .$N_v$${1,\dots, d(v)}$
• Bây giờ, để tính entropy , chúng ta tính tổng tất cả các giá trị của N v : H ( X v | N v ) = ∑ d ( v ) i = 1$H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• Kết quả sau đó bằng cách kết hợp tất cả các bất đẳng thức với nhau và lấy số mũ.

Các tổng quát của sự bất bình đẳng này là Kahn-Lovász Định lý: Số matchings hoàn hảo trong bất kỳ đồ thị là tại hầu hết các Π v ∈ V ( G ) ( d ( v ) ! ) 1 / 2 d ( v ) . Một bằng chứng entropy về kết quả này đã được Cutler và Radcliffe chứng minh .$G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

Các ví dụ rất hay được Pippenger đưa vào hai bài báo Một phương pháp lý thuyết thông tin trong lý thuyết kết hợp. J. Lược. Lý thuyết, Ser. A 23 (1): 99-104 (1977) và Entropy và liệt kê các hàm boolean. Giao dịch của IEEE về lý thuyết thông tin 45 (6): 2096-2100 (1999). Trên thực tế, một số bài báo của Pippenger chứa các bằng chứng dễ thương về các sự kiện kết hợp bằng phương pháp entropy / thông tin lẫn nhau. Ngoài ra, hai cuốn sách: Jukna, Kết hợp cực đoan với các ứng dụng trong Khoa học máy tính và Aigner, Tìm kiếm kết hợp có một số ví dụ hay. Tôi cũng thích hai bài báo Madiman et al. Sự bất bình đẳng về lý thuyết thông tin trong Kết hợp cộng gộp và Terence Tao, ước tính tổng hợp Entropy (bạn có thể tìm thấy chúng với Google Scholar). Hy vọng nó giúp.

Một ví dụ tuyệt vời khác là bằng chứng thay thế của Terry Tao về bổ đề thường xuyên của đồ thị Szemerédi . Ông sử dụng một viễn cảnh lý thuyết thông tin để chứng minh một phiên bản mạnh mẽ của bổ đề chính quy, hóa ra nó cực kỳ hữu ích trong bằng chứng của ông về bổ đề đều đặn cho siêu dữ liệu . Bằng chứng của Tao, cho đến nay, là bằng chứng ngắn gọn nhất cho bổ đề thường xuyên của siêu dữ liệu.

Hãy để tôi cố gắng giải thích ở mức rất cao quan điểm lý thuyết thông tin này.

Giả sử bạn có đồ thị lưỡng cực , với hai tập đỉnh là V 1 và V 2 và cạnh đặt E là tập con của V 1 × V 2 . Mật độ cạnh của G là ρ = | E | / | V 1 | | V 2 | . Chúng ta nói G là ε -regular nếu cho tất cả U 1 ⊆ V 1 và U 2 ⊆ V $G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$, Mật độ cạnh của đồ thị con gây ra bởi và U 2 là ρ ± ε | U 1 | | U 2 | / | V 1 | | V 2 | .$U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

Bây giờ, hãy xem xét chọn một đỉnh từ V 1 và một đỉnh x 2 từ V 2 , một cách độc lập và thống nhất một cách ngẫu nhiên. Nếu ε là nhỏ và U 1 , U 2 là lớn, chúng ta có thể giải thích ε -regularity của G nói rằng điều x 1 là ở U 1 và x 2 là ở U 2 không ảnh hưởng đến nhiều khả năng mà ( x 1 , x $x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$ Tạo thành một cạnh trong G . Nói cách khác, ngay cả sau khi chúng tôi được cung cấp thông tin x 1 ở U 1 và x 2 ở U 2 , chúng tôi vẫn chưa thu được nhiều thông tin về việc ( x 1 , x 2 ) có phải là cạnh hay không.$(x_1,x_2)$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$

$V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$$E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$$E$$x_1 | U_1$$x_2 | U_2$hoặc thông tin lẫn nhau giữa các biến là rất nhỏ. Tao thực sự hình thành một phiên bản mạnh hơn của bổ đề thường xuyên bằng cách sử dụng thiết lập này. Ví dụ, anh ta không yêu cầu và x 2 là các biến độc lập (mặc dù chưa có ứng dụng khái quát hóa này, theo như tôi biết). $x_1$$x_2$

Về cơ bản có toàn bộ khóa học dành cho câu hỏi này:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

Khóa học vẫn đang tiếp diễn. Vì vậy, không phải tất cả các ghi chú có sẵn khi viết này. Ngoài ra, một số ví dụ từ khóa học đã được đề cập.

$n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$$\sim \log(1 / \epsilon)$

$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$

$X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

$t > 1$

$P$$P$$O(\log |X|)$$X$$P$

Phân tích trường hợp trung bình của các thuật toán sử dụng độ phức tạp Kolmogorov của Jiang, Li, Vitanyi.

'Phân tích độ phức tạp trung bình của các thuật toán là một vấn đề rất thực tế nhưng rất khó khăn trong khoa học máy tính. Trong vài năm qua, chúng tôi đã chứng minh rằng độ phức tạp Kolmogorov là một công cụ quan trọng để phân tích độ phức tạp trường hợp trung bình của các thuật toán. Chúng tôi đã phát triển phương pháp không thể nén được [7]. Trong bài báo này, chúng tôi sử dụng một số ví dụ đơn giản để chứng minh thêm sức mạnh và sự đơn giản của phương pháp đó. Chúng tôi chứng minh giới hạn về số lượng ngăn xếp trung bình (hàng đợi) cần thiết để sắp xếp Queueusort hoặc Stacksort tuần tự hoặc song song. '

Xem thêm, ví dụ Độ phức tạp Kolmogorov và Bài toán tam giác của Loại Heilbronn .

Sự tương đương của việc lấy mẫu và tìm kiếm của Scott Aaronson. Ở đây, ông cho thấy sự tương đương của vấn đề lấy mẫu và tìm kiếm trong lý thuyết phức tạp liên quan đến tính hợp lệ của Luận án Giáo hội mở rộng. Lý thuyết thông tin tiêu chuẩn, lý thuyết thông tin thuật toán và độ phức tạp Kolmogorov được sử dụng một cách cơ bản.

Ông nhấn mạnh:
" Chúng ta hãy nhấn mạnh rằng chúng ta không sử dụng độ phức tạp Kolmogorov như một sự tiện lợi về mặt kỹ thuật, hoặc như một cách viết tắt cho một đối số đếm. Thay vào đó, độ phức tạp Kolmogorov dường như rất cần thiết ngay cả để xác định vấn đề tìm kiếm .. "

Điều này đơn giản và cũng gần đúng: có bao nhiêu kết hợp 10 ⁶ trong số 10 ⁹ , cho phép trùng lặp? Công thức đúng là

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189,141937481}

Nhưng hãy tưởng tượng việc đưa ra các hướng dẫn để đi dọc theo một hàng tỷ thùng, thả một triệu viên bi vào các thùng trên đường đi. Sẽ có ~ 10 ⁹ "bước tới các hướng dẫn" xô tiếp theo "và 10 ⁶ " thả một viên bi ". Tổng số thông tin là

log ₂ (N) ~ = -10 ⁶ log ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ log ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = 11409200.432742426

đó là một cách hài hước, nhưng khá tốt để tính gần đúng (nhật ký của). Tôi thích nó vì nó hoạt động nếu tôi quên cách làm tổ hợp. Nó tương đương với việc nói rằng

(a + b)! / a! b! ~ = (a + b) ^{(a + b)} / a ^a b ^b

điều này giống như sử dụng xấp xỉ, hủy bỏ và thiếu thứ gì đó của Stirling.

Một ứng dụng gần đây rất hay để cung cấp giới hạn cho hoán vị chiều cao của Linial và Luria có tại đây: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf