Kết quả mã hóa kênh sử dụng độ phức tạp Kolmogorov

12

Thông thường entropy Shannon được sử dụng để chứng minh kết quả mã hóa kênh. Ngay cả đối với các kết quả tách kênh nguồn, entropy shannon cũng được sử dụng. Với sự tương đương giữa các khái niệm thông tin của Shannon (toàn cầu) và Kolmogorov (địa phương), đã có nghiên cứu sử dụng độ phức tạp Kolmogorov cho các kết quả này (hoặc ít nhất để thay thế phần mã hóa nguồn trong kết quả tách kênh nguồn)?

it.information-theory kolmogorov-complexity shannon-entropy

— đấu với
nguồn

Bạn đã xem qua phiên bản thứ 3 của cuốn sách Li & Vitanyi chưa? Nếu tôi không nhầm, chương 8. trong cuốn sách đã được thêm vào trong phiên bản mới nhất và có một chương về Lý thuyết thông tin. Nó có tính năng entropy Shannon, thông tin lẫn nhau, biến dạng tỷ lệ, vv được phân tích theo nghĩa phức tạp Kolmogorov.

— Juho

Xin chào đó là sự thật. Nhưng không có ứng dụng cho định lý mã hóa ồn ào của Shannon!

— so với

8

Đối với dung lượng kênh, có vẻ khó thay thế entropy của Shannon bởi độ phức tạp Kolmogorov. Định nghĩa về dung lượng kênh không chứa bất kỳ đề cập nào về entropy. Sử dụng entropy của Shannon đưa ra công thức phù hợp cho dung lượng kênh (đây là định lý của Shannon). Nếu bạn thay thế công thức bằng entropy của Shannon bằng một công thức có độ phức tạp Kolmogorov, thì đó có lẽ là một công thức khác, và vì vậy nó sẽ là câu trả lời sai .

$K$ $C$ $K/C$

Phần cứng của định lý phân tách kênh nguồn đang cho thấy rằng bạn không thể làm tốt hơn phương pháp rõ ràng (được mô tả trong đoạn trước) của lần nén đầu tiên và sau đó mã hóa. Tôi không biết liệu có ai đã chứng minh điều này về độ phức tạp và khả năng kênh của Kolmogorov hay không, nhưng đó là một câu hỏi hợp lý để điều tra.

— Peter Shor
nguồn

K

$K$

K

$K$

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

Tôi không chắc chắn những gì bạn đang nói về khi bạn sử dụng vòng loại địa phương / toàn cầu về độ phức tạp của Shannon và Kolmogorov.

Vì vậy, sửa tôi nếu tôi sai.

Entropy của Shannon là có thể tính toán được. Sự phức tạp của Kolmogorov thì không. Do đó, họ không mô tả cùng một vấn đề.

Bạn có thể thấy entropy của Shannon như một giới hạn trên đối với sự phức tạp của Kolmogrov.

— Phil
nguồn

Làm thế nào là Shannon entropy một giới hạn trên? Tôi tin rằng nó được chứng minh cả hai đều giống nhau.

— T ....