Thông tin lẫn nhau như xác suất

Có thể thông tin lẫn nhau về entropy chung:

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

được định nghĩa là: "Xác suất chuyển một phần thông tin từ X đến Y"?

Tôi xin lỗi vì quá ngây thơ, nhưng tôi chưa bao giờ nghiên cứu lý thuyết thông tin, và tôi đang cố gắng chỉ để hiểu một số khái niệm về điều đó.

information-theory mutual-information

— luca maggi
nguồn

Chào mừng đến với CV, luca maggi! Thật là một câu hỏi đầu tiên đáng yêu!

— Alexis

Câu trả lời:

Thước đo bạn đang mô tả được gọi là Tỷ lệ chất lượng thông tin [IQR] (Wijaya, Sarno và Zulaika, 2017). IQR là thông tin lẫn nhau chia cho "tổng số không chắc chắn" (entropy chung) (nguồn hình ảnh: Wijaya, Sarno và Zulaika, 2017). $I(X,Y)$ $H(X,Y)$

Theo mô tả của Wijaya, Sarno và Zulaika (2017),

phạm vi của IQR là . Giá trị lớn nhất (IQR = 1) có thể đạt được nếu DWT có thể tái tạo hoàn hảo tín hiệu mà không mất thông tin. Mặt khác, giá trị thấp nhất (IQR = 0) có nghĩa là MWT không tương thích với tín hiệu gốc. Nói cách khác, tín hiệu được tái tạo với MWT cụ thể không thể giữ thông tin cần thiết và hoàn toàn khác với đặc điểm tín hiệu gốc. $[0,1]$

Bạn có thể hiểu đó là xác suất tín hiệu sẽ được tái tạo hoàn hảo mà không mất thông tin . Lưu ý rằng giải thích như vậy gần với giải thích chủ nghĩa duy tâm của xác suất , sau đó đến giải thích truyền thống, thường xuyên.

Đó là một xác suất cho một sự kiện nhị phân (tái cấu trúc thông tin so với không), trong đó IQR = 1 có nghĩa là chúng tôi tin rằng thông tin được xây dựng lại là đáng tin cậy và IQR = 0 có nghĩa ngược lại. Nó chia sẻ tất cả các thuộc tính cho xác suất của các sự kiện nhị phân. Hơn nữa, entropies chia sẻ một số thuộc tính khác với xác suất (ví dụ: định nghĩa của entropies có điều kiện, tính độc lập, v.v.). Vì vậy, nó trông giống như một xác suất và quacks giống như nó.

Wijaya, DR, Sarno, R., & Zulaika, E. (2017). Tỷ lệ chất lượng thông tin như là một thước đo mới cho lựa chọn wavelet mẹ. Hệ thống phòng thí nghiệm hóa học và thông minh, 160, 59-71.

— Tim
nguồn

Hàm IQR được định nghĩa như thế nào đối với để kiểm tra các thuộc tính xác định của thước đo xác suất? Bạn đang giới thiệu và với trong đó là hàm đặc trưng?

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

— Hans

Vâng, câu hỏi của tôi hướng vào một phần câu trả lời của bạn và không phải là một câu hỏi độc lập. Bạn đang đề nghị tôi mở một câu hỏi và liên kết mới và hướng nó đến câu trả lời của bạn?

— Hans

@Hans Những gì tôi nói, là biện pháp này dễ dàng phù hợp với định nghĩa, sửa tôi nếu tôi sai. Tiên đề 1. và 2. là rõ ràng. Đối với tiên đề 3., là sự trùng lặp, là tổng không gian, vì vậy phân số có thể dễ dàng được xem là xác suất.

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

— Tim

Xác suất được xác định trên một không gian mẫu và trường sigma của nó . Tôi bối rối không biết những gì này là cho phép đo xác suất IQR này. Đã có một không gian mẫu và lĩnh vực sigma của nó đối với các biện pháp xác định nghĩa cho các biến ngẫu nhiên và . Có phải không gian mẫu và trường của thước đo xác suất mới IQR giống như không gian đo xác suất cũ liên quan đến và không? Nếu không, chúng được định nghĩa như thế nào? Hoặc, bạn đang nói những điều này không cần phải được xác định? Làm thế nào để bạn kiểm tra nó với các tiên đề?

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

— Hans

@Hans Tôi đã tuyên bố rõ ràng rằng điều này phù hợp với các tiên đề, nhưng thật khó để nói xác suất chính xác điều này sẽ là gì. Giải thích tôi đề nghị có lẽ là tái tạo tín hiệu. Đây không phải là phân phối xác suất của X hoặc Y. Tôi đoán bạn có thể đi sâu hơn vào việc diễn giải và hiểu nó. Câu hỏi là nếu điều này có thể được hiểu là xác suất và câu trả lời là chính thức có.

— Tim

Dưới đây là định nghĩa của một không gian xác suất. Hãy để chúng tôi sử dụng các ký hiệu ở đó. IQR là một hàm của một tuple (Ba thành phần đầu tiên tạo thành không gian xác suất hai biến ngẫu nhiên được xác định trên). Một thước đo xác suất phải là một hàm được đặt thỏa mãn tất cả các điều kiện của định nghĩa được liệt kê trong câu trả lời của Tim. Người ta sẽ phải chỉ định là một số tập hợp con của một tập . Ngoài ra, tập hợp các phải tạo thành một trường các tập hợp con của và $(\Omega,\mathscr F,P,X,Y)$ $\Theta:=(\Omega,\mathscr F,P,X,Y)$ $\tilde\Omega$ $\Theta$ $\tilde\Omega$ $\text{IQR}(\Omega,\mathscr F,P,X,Y)$ phải đáp ứng cả ba thuộc tính được liệt kê trong định nghĩa về đo lường xác suất được liệt kê trong câu trả lời của Tim. Cho đến khi một người xây dựng một đối tượng như vậy, thật sai lầm khi nói IQR là thước đo xác suất. Tôi cho một người không thấy tiện ích của một thước đo xác suất phức tạp như vậy (không phải chính hàm IQR mà là một thước đo xác suất). IQR trong bài báo được trích dẫn trong câu trả lời của Tim không được gọi hoặc sử dụng như xác suất mà là một số liệu (Cái trước là một loại của cái sau, nhưng cái sau không phải là một loại trước đây.).

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

— Hans
nguồn

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

Đó cũng là trường hợp nếu bạn sử dụng mạng thần kinh phức tạp với chức năng kích hoạt sigmoid ở cuối, bạn có thể chứng minh rằng đầu ra là xác suất theo thuật ngữ lý thuyết số liệu ..? Tuy nhiên, chúng tôi thường chọn giải thích điều này là xác suất.

— Tim

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

Xin lỗi, nhưng tôi chưa bao giờ thấy loại thảo luận & lý thuyết đo lường này thú vị, vì vậy tôi sẽ rút khỏi các cuộc thảo luận tiếp theo. Tôi cũng không thấy quan điểm của bạn ở đây, đặc biệt là khi đoạn cuối của bạn dường như nói chính xác điều tôi đang nói từ chính những lời cầu xin.

— Tim