Ý nghĩa của các hàm riêng của ma trận thông tin lẫn nhau là gì?

Khi nhìn vào các hàm riêng của ma trận hiệp phương sai, chúng ta sẽ nhận được các hướng của phương sai tối đa (hàm riêng đầu tiên là hướng mà dữ liệu thay đổi nhiều nhất, v.v.); đây được gọi là phân tích thành phần chính (PCA).

Tôi đã tự hỏi nó có nghĩa gì khi nhìn vào các giá trị riêng / giá trị của ma trận thông tin lẫn nhau, liệu chúng có chỉ theo hướng entropy tối đa không?

Mặc dù đây không phải là câu trả lời trực tiếp (vì nó là về thông tin tương hỗ theo chiều ), hãy xem bài báo liên quan đến word2vec với phân tách giá trị số ít của ma trận PMI:

• O. Levy, Y. Goldberg, Từ ngữ thần kinh được nhúng như là yếu tố ma trận tiềm ẩn

Chúng tôi phân tích Skip-gram với lấy mẫu âm tính (SGNS), một phương pháp nhúng từ được giới thiệu bởi Mikolov và cộng sự, và cho thấy rằng nó đang ngầm nhân tố một ma trận ngữ cảnh, có các ô là thông tin tương hỗ theo chiều (PMI) tương ứng cặp từ và ngữ cảnh, được thay đổi bởi một hằng số toàn cầu. Chúng tôi thấy rằng một phương pháp nhúng khác, NCE, đang ngầm định hệ số cho một ma trận tương tự, trong đó mỗi ô là xác suất có điều kiện ghi nhật ký (thay đổi) của một từ cho ngữ cảnh của nó. Chúng tôi cho thấy rằng việc sử dụng ma trận ngữ cảnh từ PMI dương thay đổi thưa thớt để thể hiện các từ giúp cải thiện kết quả trên hai nhiệm vụ tương tự từ và một trong hai nhiệm vụ tương tự. Khi các vectơ chiều thấp dày đặc được ưa thích, hệ số chính xác với SVD có thể đạt được các giải pháp ít nhất là tốt như các giải pháp của SGNS cho các tác vụ tương tự từ. Về câu hỏi tương tự, SGNS vẫn vượt trội so với SVD. Chúng tôi phỏng đoán rằng điều này xuất phát từ bản chất trọng số của nhân tố SGNS.