Sử dụng độ phức tạp Kolmogorov làm đầu vào kích thước

Giả sử chúng ta có một vấn đề tính toán, ví dụ như 3-SAT, có một tập hợp các trường hợp vấn đề (đầu vào có thể) . Thông thường trong phân tích thuật toán hoặc lý thuyết độ phức tạp tính toán, chúng ta có một số bộ của tất cả các đầu vào có độ dài và hàm cho thời gian chạy của một số thuật toán giải pháp trên đầu vào . Trình tự thời gian chạy trường hợp xấu nhất cho là $S$

$$I(n) = \{w \in S : |w| = n\}$$ $n$$T(w)$$A$$w$$A$ $$f_n = \max_{w \in I(n)} T(w).$$

Bây giờ chúng ta hãy xác định các bộ

$$I^K(n) = \{w \in S : K(w) = n \}$$ của tất cả các đầu vào có độ phức tạp Kolmogorov $n$ và chúng ta hãy xác định chuỗi $$f^K_n = \frac{1}{\left|I^K(n)\right|} \sum_{w \in I^K(n)} T(w).$$ Ở đây $f^K$ là chuỗi thời gian chạy trung bình cho $A$ , ngoại trừ "kích thước" của đầu vào là độ phức tạp Kolmogorov của chúng, không phải độ dài của chúng.

Có thuật toán nào cho $f_n$ khác biệt đáng kể so với $f^K_n$ không? Nếu vậy, có vấn đề nào về độ phức tạp thời gian thay đổi khi sử dụng cách phân tích thuật toán khác nhau này không?

Xem xét hàm chẵn lẻ (hoặc bất kỳ hàm nào khác phụ thuộc vào tất cả / hầu hết các bit của đầu vào). Đối với hàm chẵn lẻ, . Vậy Mặt khác, f n = Θ ( n ) . f K n = Θ ( $T(w) = \Theta(|w|)$

$$f_n = \Theta(n).$$ $$f_n^K = \Theta\left(\frac{1}{|I^K(n)|} \sum_{w:K(w) = n} |w|\right) \geq \Omega\left(\frac{1}{2^n} \max_{w:K(w) = n} |w|\right).$$

Lưu ý rằng . Do đó và . Tương tự, ; do đó phát triển rất nhanh. Hơn nữa, nó không khó để thấy rằng không có tính toán trên ràng buộc cho .max w : K ( w ) = n | w | ≥ 2 2 Ω ( n ) f K n ≥ 2 2 Ω ( n ) / 2 n → ∞ K ( 2 ... 2 2 n ) = O ( n ) f K $K(2^{2^n}) = O(n)$

$$\max_{w:K(w) = n} |w| \geq 2^{2^{\Omega(n)}}$$ $f_n^K \geq 2^{2^{\Omega(n)}} / 2^n \to \infty$$K(2^{\dots^{2^{2^n}}}) = O(n)$f K $f_n^K \geq 2^{\dots^{2^{2^{\Omega(n)}}}}/2^n$$f_n^K$

Với sự quan tâm đến câu hỏi này, tôi nghĩ có thể hữu ích khi chỉ ra rõ ràng hơn lý do chúng ta không nên ngạc nhiên với câu trả lời và cố gắng đưa ra một số hướng để sàng lọc câu hỏi. Điều này thu thập và mở rộng trên một số ý kiến. Tôi xin lỗi nếu điều này là "hiển nhiên"!

Hãy xem xét tập hợp các chuỗi có độ phức tạp Kolmogorov : Có nhiều nhất chuỗi như vậy, vì có mô tả về độ dài . Nhưng lưu ý rằng bộ này là không thể áp dụng được cho chung (nếu không, chúng ta có thể tính chỉ bằng cách lặp từ đến và kiểm tra tư cách thành viên trong ). Hơn nữa, hàm phát triển nhanh không thể chối cãi. Nó là một biến thể của hàm busy-beaver: sản lượng dài nhất của Máy Turing có chiều dài mô tảJ K ( n ) = { w : K ( w ) = n } $n$

$$J^K(n) = \{w : K(w) = n\}.$$ $2^n$$2^n$$n$$n$$K(w)$$n=1$$|w|$$J^K(n)$ $$g^K(n) = \max_{w \in J^K(n)} |w|$$ $n$? Nếu điều này phát triển chậm hơn một số chức năng tính toán, chúng ta có thể quyết định vấn đề tạm dừng: Đưa ra TM , xây dựng mô phỏng và in ở mỗi bước. Nếu độ dài mô tả của là , thì: dừng lại ở nhiều nhất bước; hoặc không dừng lại.$M$$M'$$M$$1$$M'$$n$$M$$g^K(n)$$M$

Bây giờ, với câu hỏi của Andrew, chúng ta có , trong đó là ngôn ngữ gốc. Vì vậy, cách duy nhất để tránh chứa các đầu vào rất lớn trong sẽ là nếu chỉ chứa các chuỗi rất không nén được. (Lưu ý rằng, nếu không, chúng ta hoàn toàn có thể bỏ qua sự phân biệt giữa phân tích trường hợp xấu nhất và trường hợp trung bình ở đây, bởi vì chúng ta trung bình trên nhiều nhất là chuỗi nhưng kích thước của chuỗi lớn nhất đang tăng nhanh hơn bất kỳ hàm tính toán nào của . )$I^K(n) = S \cap J^K(n)$$S$$I^K(n)$$n$$S$$2^n$$n$

Tôi cảm thấy rằng có khả năng không thể xây dựng bất kỳ không cần thiết (tức là vô hạn) chỉ chứa các chuỗi không nén được, nhưng vẫn có thể quyết định được. Nhưng tôi không biết. Tuy nhiên, hy vọng điều này mang lại trực giác về lý do tại sao chúng ta không nên hy vọng hầu hết các ngôn ngữ sẽ có phát triển chậm hơn chức năng tính toán.$S$$f^K_n$

Để lùi lại một chút, câu hỏi là so sánh hiệu suất trên các đầu vào có độ dài với hiệu suất trên các đầu vào có thể được nén với chiều dài . Nhưng chúng ta có các khái niệm về nén có thể dễ điều khiển hơn (và ít mạnh hơn) so với Độ phức tạp Kolmogorov. Một cách đơn giản là đưa ra một mạch có kích thước , trên đầu vào số nhị phân tạo ra bit thứ của . Lưu ý rằng ở đây, blowup trong kích thước đầu vào nhiều nhất là theo cấp số nhân (một mạch có kích thước có nhiều nhất là đầu vào có thể).$n$$n$$n$$b$$b$$w$$n$$2^n$

Vì vậy, chúng ta có thể viết lại câu hỏi bằng cách để Và xác định tương tự. Lý do cho hy vọng ở đây là hầu hết các chuỗi yêu cầu một mạch lớn gần bằng chính chuỗi đó và không có chuỗi nào lớn hơn theo cấp số nhân so với mạch yêu cầu. Có lẽ trong trường hợp này, chúng ta có thể tìm thấy các ngôn ngữ trong đó và tương tự nhau không có triệu chứng.

$$I^C(n) = \{ w \in S : \text{the smallest circuit implicitly specifying $w$ has size $n$}\}.$$ $f^C_n$$f_n$$f^C_n$

Một câu hỏi khá liên quan là sự phức tạp của các ngôn ngữ ngầm như IMPLICIT_SAT là NEXP-Complete và thông thường phiên bản ngầm của các vấn đề hoàn thành NP là NEXP-Complete. Quyết định IMPLICIT_SAT ít nhất là dễ dàng như chỉ cần sử dụng mạch để viết ra tất cả , sau đó chạy một thuật toán cho SAT trên . Vì vậy, nếu cho SAT, thì điều này dường như gần với việc đưa ra bằng chứng rằng IMPLICIT_SAT trong trường hợp trung bình gần như có thể quyết định nhanh như SAT trong trường hợp xấu nhất. Nhưng tôi không biết người ta sẽ so sánh trực tiếp khái niệm của bạn với các ngôn ngữ ngầm như thế nào bởi vì khái niệm "mạch nhỏ nhất chow w f C n = Θ ( f n )

$$\mathsf{IMPLICIT\_SAT} = \{ \text{circuits $C$}: \text{$C$ implicitly specifies $w$}, w \in \mathsf{SAT}\}.$$ $w$$w$$f^C_n = \Theta(f_n)$$w$"Không đi vào chơi cho các ngôn ngữ ngầm.

Hy vọng điều này là hữu ích / thú vị!

Tôi không chắc chắn về một cuốn sách giáo khoa có đề cập đến các vấn đề tiềm ẩn, nhưng đây là một số ghi chú bài giảng: http://people.seas.harvard.edu/~salil/cs221/spring10/lec8.pdf

Một trường hợp dễ dàng dường như là nơi ngôn ngữ chỉ chứa các trường hợp đệm. Khi thu được từ một ngôn ngữ bằng cách đệm từng phiên bản có kích thước với các ký hiệu , có thể nằm trong vùng .S L n 2 n - n f K n 2 f $S$$S$$L$$n$$2^n-n$$f^K_{n}$$2^{f_n}$