Các vấn đề liên quan đến entropy

Tôi từ lâu đã phải đối mặt với sự nhầm lẫn về entropy và sẽ bị bắt buộc nếu những điều sau đây được trả lời bằng thuật ngữ ít kỹ thuật hơn. Theo liên kết Các loại entropy khác nhau đặt ra các câu hỏi sau

1. Entropy- Mong muốn rằng entropy của hệ thống được tối đa hóa. Tối đa hóa entropy có nghĩa là không có biểu tượng nào tốt hơn các biểu tượng khác hoặc chúng ta không biết biểu tượng / kết quả tiếp theo sẽ là gì. Tuy nhiên, công thức nêu một dấu âm trước khi tính tổng các logarit xác suất. Vì vậy, nó có nghĩa là chúng tôi đang tối đa hóa một giá trị âm !! Sau đó, nếu tín hiệu thô ban đầu được lượng tử hóa và entropy của thông tin được lượng tử hóa được tính toán và được tìm thấy nhỏ hơn entropy ban đầu sẽ có nghĩa là mất thông tin. Vì vậy, tại sao chúng ta muốn tối đa hóa entropy vì điều đó có nghĩa là chúng ta đang tối đa hóa sự không chắc chắn của biểu tượng tiếp theo trong khi chúng ta muốn chắc chắn về sự xuất hiện tiếp theo của biểu tượng.
2. Sự khác biệt giữa entropy, entropy topo và entropy nguồn của Shannon là gì?
3. Chính xác thì ý nghĩa của độ phức tạp Koleimorov hay entropy của Koleimorov. Làm thế nào nó liên quan đến entropy của Shannon?
4. Thông tin nào thông tin lẫn nhau giữa hai vectơ truyền đạt?

Tôi sẽ cố gắng giải quyết câu hỏi 1 và 4.

1) Entropy- Mong muốn rằng entropy của hệ thống được tối đa hóa. Tối đa hóa entropy có nghĩa là không có biểu tượng nào tốt hơn các biểu tượng khác hoặc chúng ta không biết biểu tượng / kết quả tiếp theo sẽ là gì. Tuy nhiên, công thức nêu một dấu âm trước khi tính tổng các logarit xác suất. Vì vậy, nó có nghĩa là chúng tôi đang tối đa hóa một giá trị âm !!

Không, các giá trị của logarit là âm, vì vậy dấu âm làm cho chúng dương. Tất cả các xác suất là một số thực từ 0 đến 1, bao gồm. Nhật ký của 1 là 0 và nhật ký của bất cứ điều gì nhỏ hơn 1 là âm. Điều này có vẻ có vấn đề vì nhật ký 0 là , nhưng chúng tôi thực sự đang cố gắng tối đa hóa giá trị mong đợi của các nhật ký này, vì vậy khi chúng tôi nhân với xác suất, toàn bộ giá trị đạt 0, không phải là . Entropy đạt đỉnh khi xác suất là .$-\infty$$\infty$$1/2$

Vì vậy, tại sao chúng ta muốn tối đa hóa entropy vì điều đó có nghĩa là chúng ta đang tối đa hóa sự không chắc chắn của biểu tượng tiếp theo trong khi chúng ta muốn chắc chắn về sự xuất hiện tiếp theo của biểu tượng.

Không, trong việc truyền đạt thông tin, chúng tôi hoàn toàn KHÔNG muốn chắc chắn về biểu tượng tiếp theo sẽ là gì. Nếu chúng ta chắc chắn, thông tin nào có được khi nhận được nó? Không ai. Chỉ thông qua sự không chắc chắn về những gì máy phát sẽ gửi mà chúng tôi có thể nhận được bất kỳ thông tin nào.

4) Thông tin nào thông tin lẫn nhau giữa hai vectơ truyền đạt?

Khi có thông tin lẫn nhau giữa hai vectơ biết điều gì đó về người này sẽ cho bạn biết điều gì đó về người kia. Về mặt toán học, điều này tương đương với kiến ​​thức sau đây về một vectơ ảnh hưởng đến xác suất của vectơ khác. Nếu họ độc lập, điều này sẽ không xảy ra.

Một ví dụ về thông tin lẫn nhau là bộ đàm kỹ thuật số. Một vector là luồng bit mà bộ đàm đầu tiên gửi. Vectơ thứ hai là tín hiệu mà bộ đàm thứ hai nhận được. Cả hai rõ ràng có liên quan với nhau, nhưng do tiếng ồn và điều kiện kênh không xác định, bộ đàm thứ hai không thể biết chắc chắn cái đầu tiên đã gửi. Nó có thể đưa ra một số dự đoán thực sự tốt dựa trên tín hiệu, nhưng không thể biết chắc chắn.