Mối quan hệ giữa entropy và SNR

Nói chung, bất kỳ hình thức nào của enropy được định nghĩa là không chắc chắn hoặc ngẫu nhiên. Trong một môi trường ồn ào, với sự gia tăng tiếng ồn, tôi tin rằng entropy tăng vì chúng ta không chắc chắn hơn về nội dung thông tin của tín hiệu mong muốn. Mối quan hệ giữa entropy và SNR là gì? Khi tăng tín hiệu thành khẩu phần nhiễu, công suất nhiễu giảm nhưng điều này không có nghĩa là nội dung thông tin của tín hiệu tăng !! Nội dung thông tin có thể vẫn giữ nguyên, vì vậy điều đó có nghĩa là entropy không bị ảnh hưởng?

Khi bạn nói rằng "nội dung thông tin có thể giữ nguyên", bạn có nghĩa là thông tin trong tổng tín hiệu hoặc thông tin của tín hiệu mong muốn? Hy vọng điều này sẽ trả lời cả hai trường hợp. Tôi biết Shannon entropy tốt hơn nhiều so với Kolmogorov vì vậy tôi sẽ sử dụng nó, nhưng hy vọng logic sẽ dịch.

Giả sử là tổng tín hiệu của bạn ( X ), bao gồm tổng tín hiệu bạn muốn S và thành phần nhiễu N của bạn . Hãy gọi entropy H . Như bạn đã nói, tiếng ồn thêm entropy vào một hệ thống bằng cách tăng độ phức tạp của nó. Tuy nhiên, điều đó không nhất thiết chỉ bởi vì chúng tôi không chắc chắn hơn về nội dung thông tin của tín hiệu, mà bởi vì có sự không chắc chắn hơn trong tín hiệu nói chung. Nếu SNR đo lường mức độ chắc chắn của chúng ta đối với S là gì , thì H ( X ) là loại biện pháp chúng ta có thể dự đoán các trạng thái tương lai của $X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$dựa trên tình trạng hiện thời của . Entropy quan tâm đến việc toàn bộ tín hiệu phức tạp như thế nào, bất kể thành phần của nhiễu so với không nhiễu.$X$

Nếu bạn tăng SNR bằng cách loại bỏ nhiễu (giảm ), bạn sẽ giảm độ phức tạp của tín hiệu X và do đó entropy của nó. Bạn đã không bị mất bất kỳ thông tin thực hiện bởi S , chỉ có (có lẽ là vô nghĩa) Thông tin vận chuyển bằng N . Nếu N là nhiễu ngẫu nhiên, thì rõ ràng nó không mang thông tin có ý nghĩa, nhưng phải mất một lượng thông tin nhất định để mô tả trạng thái của N , được xác định bởi số trạng thái mà N có thể ở và xác suất xảy ra mỗi trạng thái Đó là entropy.$N$$X$$S$$N$$N$$N$

Chúng ta có thể xem xét hai phân phối Gaussian với các phương sai khác nhau, giả sử một cái có phương sai bằng và cái kia có phương sai là 100 . Chỉ cần nhìn vào phương trình của phân phối Gaussian, chúng ta thấy rằng phân phối V a r = 100 có xác suất tối đa chỉ là $1$$100$$Var=100$Giá trị thứ 10 của xác suấtvar=1distr. Ngược lại, điều này có nghĩa là xác suất lớn hơn rằngVar=100distr sẽ lấy các giá trị khác với giá trị trung bình hoặc có nhiều chắc chắn rằngphân phốiVar=1sẽ lấy các giá trị gần giá trị trung bình. Vì vậy,phân phốiVar=1có entropy thấp hơn phân phốiVar=100.$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$

Chúng tôi thiết lập rằng phương sai cao hơn hàm ý entropy cao hơn. Nhìn vào sự lan truyền lỗi, cũng đúng là (bằng với X , Y ) độc lập . Nếu X = S + N , thì với entropy H , H ( X ) = H ( S + N ) . Từ$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$ (gián tiếp) là một hàm của phương sai, chúng ta có thể làm mờ mọi thứ một chút để nói H ( V a r [ X ] ) = H ( V a r [ S + N ] ) . Để đơn giản hóa, chúng ta nói S và N là độc lập, vì vậy H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ $H$$H(Var[X]) = H(Var[S+N])$$S$$N$ . SNR được cải thiện thường có nghĩa là giảm công suất tiếng ồn. Tín hiệu mới này với SNR cao hơn sau đó sẽ là X = S + ( $H(Var[X]) = H(Var[S] + Var[N])$, vớik>1. Entropy sau đó trở thànhH(Vmộtr[X])=H(Vmộtr[S]+(1/k)2*Vmộtr[N]). klớn hơn1, vì vậyVar[N]sẽ giảm khi N bị suy giảm. NếuV$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ giảm, V a r [ S + N ] cũng vậy, và do đó V a r [ X ] , dẫn đến giảm H ( X ) .$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

Không ngắn gọn lắm, xin lỗi. Nói tóm lại, 's entropy giảm nếu bạn tăng SNR, nhưng bạn đã làm gì để S ' thông tin s. Tôi không thể tìm thấy các nguồn ngay bây giờ, nhưng có một phương pháp để tính toán SNR và thông tin lẫn nhau (một thước đo hai biến tương tự như entropy) với nhau. Có lẽ điều đáng nói chính là SNR và entropy không đo lường được điều tương tự.$X$$S$

Đây là một trích dẫn [1, p. 186]để giúp bạn, OP hoặc Googler, bắt đầu:

Rất gần, $\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

Ở đây $\mathcal{H}$ là entropy âm của phân bố sau của các tham số của mô hình tín hiệu của bạn. Chúc may mắn!

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006