Lý thuyết thông tin và tối ưu hóa lồi

Tôi đang tham gia một khóa học cấp độ cao về lý thuyết thông tin và tôi liên tục bị ấn tượng bởi mức độ tối ưu hóa lồi trong môn học này. Tuy nhiên, các bằng chứng dường như ngại sử dụng toàn bộ máy móc của lý thuyết thư giãn, tính đối ngẫu, v.v ... Điều này có thể hiểu được vì bạn không muốn yêu cầu một học kỳ tối ưu hóa lồi đầy đủ để dạy công cụ này. Nhưng là một người khá thành thạo trong việc tối ưu hóa, tôi cảm thấy như mình đang bỏ lỡ rất nhiều sự tao nhã và trực giác khi những liên kết này không được khám phá nhiều hơn. Tôi thường nhận thấy bằng chứng sẽ ngắn hơn nếu bạn sử dụng phân tích lồi.

Có những cuốn sách bao gồm lý thuyết thông tin nhiều hơn từ quan điểm này? Chúng tôi chủ yếu sử dụng các ghi chú bài giảng từ Stefan Moser, Y. Polyanskiy và Y. Wu, cũng như Lý thuyết thông tin mạng của El Gamal.

reference-request it.information-theory convex-optimization

— luegofuego
nguồn

Bạn có thể đưa ra một ví dụ về "sự thanh lịch và trực giác" như vậy trong bối cảnh khác không?

— kodlu

Vâng, như một trong nhiều ví dụ, chúng tôi đã nói về các thuộc tính điểm yên của dung lượng kênh. Tôi tin rằng nó được gọi là công thức minmax phân kỳ KL hoặc một cái gì đó. Nó được trình bày khá tốt trong các ghi chú Polyanskiy mà tôi đã đề cập ở trên. Điều gây ấn tượng với tôi là nó dường như chính xác là một tuyên bố lại về sự thư giãn / đối ngẫu của Lagrangian trong một bối cảnh khác.

— luegofuego

Một ví dụ trần tục hơn một chút có thể là khi chúng ta được yêu cầu chứng minh độ lồi của hàm biến dạng tỷ lệ, đó là bằng chứng một dòng nếu bạn nhớ lại một số tính chất của cực đại so với các bộ lồi, v.v.

— luegofuego

Những cuốn sách dưới đây có thể phù hợp với sở thích của bạn hơn, nhưng nói chung, các văn bản / ghi chú bài giảng được viết để sử dụng (chủ yếu) sinh viên sau đại học về kỹ thuật và không thể đoán được kiến thức sâu về phân tích lồi.

Csizsar, I., và Korner, J., Lý thuyết thông tin: Định lý mã hóa cho các hệ thống không nhớ rời rạc, 2nd Ed, Cambridge.
Berger, T., Lý thuyết biến dạng tỷ lệ, khá cũ có lẽ là cuối thập niên 70 hoặc đầu thập niên 80, không thể nhớ nhà xuất bản có thể là Wiley.
Yeung, RW, Một khóa học đầu tiên về Lý thuyết thông tin, Springer.

Các bài báo nghiên cứu về lý thuyết Shannon và các lĩnh vực liên quan, nói, Giao dịch của IEEE về Lý thuyết thông tin, có thể phù hợp với dự luật hơn, mặc dù không phải lúc nào cũng vậy.

Một văn bản cũ hơn cũng có thể được quan tâm là

Wolfowitz, J., Định lý mã hóa của lý thuyết thông tin, Springer, 1960.

— kodlu
nguồn

chỉ là một nhận xét, nó phụ thuộc vào những gì người ta sẽ coi là "sâu", ví dụ tôi coi lý thuyết thông tin sâu hơn phân tích lồi (ví dụ vì nó có nhiều ứng dụng hơn cho các lĩnh vực khác nhau) và thay vào đó tôi thích giảm phân tích lồi sang lý thuyết thông tin ngược lại. Nó có thể được thực hiện nếu một người muốn (giả sử các nhà lý thuyết thể loại muốn giảm mọi thứ thành phân loại thay vì đại số :)).

— Nikos M.

@ Nikos M., hoàn toàn, và tôi thông cảm. Ví dụ, một số vấn đề lý thuyết thông tin làm phát sinh các vùng năng lực không lồi, ví dụ, OFDMA.

— kodlu