Có một sự khái quát hóa của lý thuyết thông tin để thông tin đa thức có thể biết?

Tôi xin lỗi, đây là một câu hỏi "mềm".

Lý thuyết thông tin không có khái niệm về độ phức tạp tính toán. Ví dụ: một thể hiện của SAT, hoặc một thể hiện của SAT cộng với một chút biểu thị sự thỏa mãn mang cùng một lượng thông tin.

Có cách nào để chính thức hóa khái niệm "đa thức biết" không?

Một khung như vậy có thể định nghĩa ví dụ về khái niệm phân kỳ đa thức-KL giữa một biến ngẫu nhiên X tương đối Y là số bit cần thiết để tính X trong thời gian đa thức cho Y.

Tương tự, entropy của một biến ngẫu nhiên X có thể được định nghĩa là số bit cần thiết để mã hóa X theo cách có thể được giải mã trong thời gian đa thức.

Một khái quát như vậy đã được nghiên cứu? Nó có thể được thực hiện phù hợp?

Đúng. Độ phức tạp Kolmogorov giới hạn thời gian ít nhất là một "khái quát hóa" như vậy (mặc dù nói đúng ra nó không phải là khái quát hóa, mà là một khái niệm liên quan). Sửa chữa một máy Turing phổ . Độ phức tạp Kolmogorov giới hạn thời gian t ( n ) của một chuỗi x được cho một chuỗi y (liên quan đến U ), ký hiệu là K t U ( x | y ) (ký tự U thường được nén) được định nghĩa là chuỗi p ngắn nhất ( một "chương trình" cho U ) sao cho U ( p , $U$$t(n)$$x$$y$$U$$K^t_U(x | y)$$U$$p$$U$ và sao cho việc tính toán U ( p , y ) mất nhiềuthời gian t ( | x | ) . Nếu bạn coi đây là định nghĩa của bạn về "thông tin có điều kiện", thì bạn cũng có thể định nghĩa tất cả các khái niệm thông thường từ lý thuyết thông tin.$U(p,y)=x$$U(p,y)$$t(|x|)$

Tuy nhiên, trong bối cảnh giới hạn thời gian này, không phải tất cả các định lý thông thường của lý thuyết thông tin đều được biết đến. Ví dụ, tính đối xứng của thông tin được biết là giữ cho độ phức tạp Kolmogorov thông thường (không bị ràng buộc về thời gian), nhưng không được biết là giữ cho giới hạn thời gian. Xem, ví dụ, Chương 6 của luận án của Troy Lee .

Nếu bạn lo ngại rằng điều này áp dụng cho các chuỗi thay vì phân phối, tôi khuyên bạn nên đọc các tài liệu sau, nói rằng thực tế độ phức tạp của chuỗi Kolmogorov và entropy của phân phối có liên quan rất chặt chẽ với nhau:

• Grunwald và Vitanyi. Thông tin Shannon và độ phức tạp Kolmogorov

• Búa, Romashchenko, Shen, Vereshchagin. Sự bất bình đẳng cho độ phức tạp của Shannon Entropy và Kolmogorov .

(Mặt khác, có một số thuộc tính được biết là không được chia sẻ giữa hai loại này, hãy xem phần lớn củaniknik & Vereshchagin, Shannon Entropy so với Kolmogorov .)

Một vấn đề là nhiều định lý chúng ta đã từng sử dụng trong lý thuyết thông tin, không nắm giữ trong thế giới tính toán. Do đó, ngay cả khi chúng ta chính thức hóa một phép tương tự tính toán của entropy, lý thuyết kết quả có thể không giống như lý thuyết thông tin nữa.

$f$$H(f(X)) \le H(X)$$H(f(X)) \le H(X)$

Tôi không biết về một mô hình tính toán thông tin, nhưng có những ứng dụng rõ ràng của lý thuyết thông tin cho sự phức tạp tính toán.

$n \log n$

Thông thường hơn, kết quả lý thuyết thông tin có thể phục vụ như giới hạn thấp hơn về độ phức tạp tính toán. Ví dụ, kết quả "lý thuyết thông tin" của Yao về độ phức tạp trong giao tiếp {1} ngụ ý các giới hạn tính toán thấp hơn trong việc xác định xem hai bộ có bằng nhau hay không. Các ứng dụng phức tạp hơn về độ phức tạp trong giao tiếp cung cấp sự đánh đổi không gian thời gian cho các máy Turing {2}.

{1} Yao, Andrew Chi-Chih. "Một số câu hỏi phức tạp liên quan đến điện toán phân phối (báo cáo sơ bộ)." Kỷ yếu của hội nghị chuyên đề ACM hàng năm lần thứ mười một về Lý thuyết điện toán. ACM, 1979.

{2} Eyal Kushilevitz: Độ phức tạp trong giao tiếp. Những tiến bộ trong máy tính 44: 331-360 (1997).