Mối liên quan giữa độ phức tạp tính toán và thông tin

Tôi làm việc trong phòng thí nghiệm khoa học thần kinh tính toán để định lượng thông tin lẫn nhau giữa các cặp hoặc nhóm tế bào thần kinh. Gần đây, ông chủ đã chuyển trọng tâm sang đo lường "sự phức tạp của động lực học thần kinh". Theo đuổi dòng nghiên cứu đó, một số người trong nhóm của tôi dường như đánh đồng "phức tạp" với "có một entropy cao".

Ai đó có thể hướng dẫn tôi về mối quan hệ giữa độ phức tạp tính toán (theo nghĩa CS) và entropy theo nghĩa lý thuyết thông tin không?

Để giải thích thêm một chút, các biện pháp như độ phức tạp Lempel-Ziv, đối với tôi, dường như không phải là các biện pháp phức tạp hợp lệ bởi vì chúng kết hợp thông tin (với người dùng) với việc mang nhiều bit. Các biện pháp khác, như [Causal State Splitting Reconstruction][1]ít được biết đến nhưng có đặc tính hấp dẫn rằng các quy trình ngẫu nhiên có độ phức tạp bằng không, bởi vì các trạng thái ẩn không cần thiết để thể hiện một quy trình ngẫu nhiên đứng yên.

Có đủ mối liên hệ giữa lý thuyết thông tin và độ phức tạp tính toán để xứng đáng với khóa học sau đại học, ví dụ: khóa này: http://www.cs.princeton.edu/cifts/archive/fall11/cos597D/

Nhiều người đã đề cập đến độ phức tạp Kolmogorov hoặc các biến thể giới hạn tài nguyên của nó, nhưng tôi nghĩ một cái gì đó gần với thứ bạn đang tìm kiếm là khái niệm về độ sâu (logic) . Có một số biến thể về chiều sâu, nhưng tất cả chúng đều cố gắng đạt được điều gì đó giống như những gì bạn đang nói. Cụ thể, không phải các chuỗi hoàn toàn ngẫu nhiên cũng như các chuỗi có trật tự / lặp đi lặp lại rất sâu.

Một khái niệm về độ sâu là trực giác: một chuỗi sâu nếu nó có một mô tả ngắn, nhưng cách duy nhất để xây dựng lại chuỗi từ mô tả ngắn đó mất một lượng thời gian không phù hợp. Đây là khái niệm về chiều sâu và một số khác được giới thiệu và phát triển trong [1]. Tham chiếu tiêu chuẩn khác là [2]. Tôi sẽ xem xét những cái đó, sau đó làm một tìm kiếm tham khảo về phía trước.

[1] L. Antunes, L. Fortnow, D. van Melkebeek, NV Vinodframran. Độ sâu tính toán: khái niệm và ứng dụng . Định lý. Comp. Khoa học. 354 (3): 391--404. Cũng có sẵn miễn phí từ trang web của tác giả .

[2] CH Bennett. Độ sâu logic và độ phức tạp vật lý. Trong R. Herken (Ed.), Máy Turing phổ dụng: Một cuộc khảo sát nửa thế kỷ, Nhà xuất bản Đại học Oxford, Oxford (1988), 227 Phản-257.

Điều đầu tiên xuất hiện trong đầu bạn như một thứ gì đó mà bạn có thể thấy hấp dẫn là sự phức tạp của Kolmogorov; Tôi chắc chắn thấy nó hấp dẫn, và vì bạn đã không đề cập đến nó, tôi nghĩ rằng nó có thể đáng được đề cập.

Điều đó đang được nói, một cách tiếp cận tổng quát hơn để trả lời câu hỏi này có thể dựa trên lý thuyết về ngôn ngữ và automata. Automata hữu hạn xác định là bộ xử lý chuỗi O (n). Nghĩa là, với một chuỗi có độ dài n, họ xử lý chuỗi theo n bước chính xác (rất nhiều điều này phụ thuộc vào chính xác cách bạn xác định automata hữu hạn xác định; tuy nhiên, DFA chắc chắn không yêu cầu nhiều bước hơn). Máy tự động hữu hạn Nondeterministc nhận ra cùng ngôn ngữ (bộ chuỗi) là DFA và có thể được chuyển đổi thành DFA, nhưng để mô phỏng NFA trên máy xác định tuần tự, bạn thường phải khám phá một "không gian tìm kiếm" giống như cây, có thể làm tăng "không gian tìm kiếm" giống như cây. phức tạp đáng kể. Các ngôn ngữ thông thường không "phức tạp" theo nghĩa tính toán,

Bạn cũng có thể nhìn tương tự vào các cấp độ khác của hệ thống phân cấp ngôn ngữ Chomsky - không có ngữ cảnh xác định, không ngữ cảnh (bao gồm các ngôn ngữ không ngữ cảnh không xác định, không nhất thiết phải được nhận dạng bởi tự động đẩy xuống xác định), các ngôn ngữ nhạy cảm theo ngữ cảnh, đệ quy và đệ quy vô số ngôn ngữ, và các ngôn ngữ không thể giải quyết được.

Automata khác nhau khác nhau chủ yếu trong lưu trữ bên ngoài của họ; tức là, những gì lưu trữ bên ngoài là cần thiết cho automata để xử lý chính xác các ngôn ngữ của một loại nhất định. Automata hữu hạn không có lưu trữ bên ngoài; Các thiết bị PDA có một ngăn xếp và máy Turing có một cuộn băng. Do đó, bạn có thể giải thích sự phức tạp của một vấn đề lập trình cụ thể (tương ứng với ngôn ngữ) có liên quan đến số lượng hoặc loại lưu trữ cần thiết để nhận ra nó. Nếu bạn không cần hoặc có dung lượng lưu trữ cố định, hữu hạn để nhận ra tất cả các chuỗi trong một ngôn ngữ, thì đó là ngôn ngữ thông thường. Nếu tất cả những gì bạn cần là một ngăn xếp, bạn có một ngôn ngữ không ngữ cảnh. Vân vân.

Nói chung, tôi sẽ không ngạc nhiên nếu các ngôn ngữ cao hơn trong hệ thống phân cấp Chomsky (do đó có độ phức tạp cao hơn) cũng có xu hướng có entropy cao hơn theo nghĩa lý thuyết thông tin. Điều đó đang được nói, có lẽ bạn có thể tìm thấy rất nhiều mẫu phản đối cho ý tưởng này, và tôi không biết liệu có công đức nào cho nó không.

Ngoài ra, điều này có thể được hỏi tốt hơn tại "lý thuyết cs" (cstheory) StackExchange.

Độ phức tạp tính toán giải quyết các tài nguyên cần thiết: Đưa ra một loại vấn đề cụ thể, với một số kích thước nhất định, các tài nguyên cần thiết (thường là thời gian, không gian hoặc cả hai; và một loại thiết bị máy tính cụ thể) để giải quyết nó. Các vấn đề sau đó được nhóm lại với nhau trong các "lớp" phức tạp.

Một số trong số này khá chung chung và trừu tượng: Vấn đề có thể giải quyết được không, ngay cả về nguyên tắc? Nó có yêu cầu một loại máy này hay không? Giới thiệu về những ý tưởng này vẫn là một chủ đề khoa học máy tính ở trình độ sau đại học và tài liệu giới thiệu thường liên quan đến hệ thống phân cấp Chomsky, trong đó ánh xạ gọn gàng (và đẹp mắt!) Cùng với một vài loại máy trừu tượng và một vài loại trừu tượng, đặc tả ngôn ngữ toán học.

Một số trong số này, ở cấp độ thấp hơn, thực tế hơn trong sử dụng hàng ngày: Vấn đề này có quy mô như bình phương của kích thước vấn đề, hoặc khối lập phương, hoặc một số chức năng khác không? Thật thú vị, tôi biết rằng các đối số cho entropy của một vấn đề nhất định đã được tìm thấy hữu ích trong việc xác định một số giới hạn thấp hơn đối với một số vấn đề tính toán. Một ý tưởng xuất hiện trong đầu tôi (mặc dù tôi có lẽ không thể lặp lại nó mà không kiểm tra sách giáo khoa) là một đối số dựa trên entropy cho số lượng so sánh cần thiết tối thiểu trong một loại. Sự kết nối với entropy là thông qua lý thuyết thông tin.

Vì vậy, có một số công đức cho ý tưởng, tôi nghĩ.