Sự khác biệt chính giữa tương quan và thông tin lẫn nhau là gì?

15

câu hỏi của tôi đặc biệt áp dụng cho tái thiết mạng

correlation mutual-information

25

Mối tương quan đo lường mối quan hệ tuyến tính (tương quan Pearson) hoặc mối quan hệ đơn điệu (tương quan Spearman) giữa hai biến, X và Y.

Thông tin lẫn nhau nói chung hơn và đo lường sự không chắc chắn trong Y sau khi quan sát X. Đó là khoảng cách KL giữa mật độ khớp và sản phẩm của mật độ riêng. Vì vậy, MI có thể đo lường các mối quan hệ không đơn điệu và các mối quan hệ phức tạp khác.

— Rob Hyndman
nguồn

3

Tương quan không nhất thiết là tuyến tính - rho của Spearman dựa vào hàm đơn điệu, tuy nhiên, chúng tôi gọi nó là "hệ số tương quan", chứ không phải "hệ số thông tin lẫn nhau". Và vì một lý do chính đáng: nó cung cấp một thông tin về sự liên kết giữa hai biến. Thông tin lẫn nhau, thông tin dư thừa, phương sai lẫn nhau, mối tương quan - những thuật ngữ này rất giống nhau và câu hỏi này đề cập đến việc tái cấu trúc mạng , vì vậy tôi đoán rằng chúng tôi đã kết thúc sai khu vực với thuật ngữ đúng. Đây là câu hỏi khá cụ thể ...

— aL3xa

1

Điểm tốt. Tôi đã chỉnh sửa câu trả lời của mình để bao gồm các mối quan hệ đơn điệu. Tôi không biết gì về tái thiết mạng.

— Rob Hyndman

4

Để thêm vào câu trả lời của Rob ... liên quan đến kỹ thuật đảo ngược mạng, MI có thể được ưu tiên hơn so với tương quan khi bạn muốn trích xuất các liên kết nhân quả thay vì liên kết trong mạng của mình. Mạng lưới tương quan là hoàn toàn liên kết. Nhưng đối với MI, bạn cần thêm dữ liệu và sức mạnh tính toán.

— ars
nguồn