Lựa chọn tính năng sử dụng thông tin lẫn nhau trong Matlab

Tôi đang cố gắng áp dụng ý tưởng thông tin lẫn nhau để lựa chọn tính năng, như được mô tả trong các ghi chú bài giảng này (trên trang 5).

Nền tảng của tôi là Matlab. Một vấn đề tôi tìm thấy khi tính toán thông tin lẫn nhau từ dữ liệu thực nghiệm là con số luôn bị sai lệch. Tôi đã tìm thấy khoảng 3 ~ 4 tệp khác nhau để tính MI trên Matlab Central và tất cả chúng đều cho số lượng lớn (như> 0,4) khi tôi cung cấp các biến ngẫu nhiên độc lập.

Tôi không phải là một chuyên gia, nhưng vấn đề dường như là nếu bạn chỉ đơn giản sử dụng mật độ khớp và biên để tính MI, thì độ lệch được đưa ra trong quy trình vì MI theo định nghĩa là dương. Có ai có lời khuyên thực tế về cách ước tính thông tin lẫn nhau một cách chính xác?

Một câu hỏi liên quan là, trong thực tế, làm thế nào để mọi người thực sự sử dụng MI để chọn các tính năng? Tôi không rõ ràng làm thế nào để đưa ra một giá trị ngưỡng vì lý thuyết MI không bị ràng buộc. Hay mọi người chỉ xếp hạng các tính năng theo MI và lấy các tính năng k hàng đầu?

Đây là vấn đề sai lệch lấy mẫu hạn chế .

Các ước tính mẫu nhỏ về mật độ rất ồn và biến thể này tạo ra mối tương quan giả giữa các biến làm tăng giá trị thông tin ước tính.

$(R-1)(S-1) / 2N\ln2$$2N\ln(2)I$$\chi^2$$(R-1)(S-1)$

Một số gói thực hiện các kỹ thuật này trong Matlab bao gồm infotoolbox và Bộ công cụ phân tích tàu Spike .

Đối với trường hợp liên tục, các công cụ ước tính dựa trên khoảng cách lân cận gần nhất làm giảm vấn đề.

Tôi đã sử dụng phân kỳ KL và với các cỡ mẫu thích hợp sẽ nhận các giá trị 0 cho các locus nơi các phân phối có xác suất bằng nhau.

Tôi đề nghị bạn nên viết lại MI của bạn theo cách phân kỳ KL.

Bạn nên sử dụng thuật toán Thông tin lẫn nhau một phần để lựa chọn biến đầu vào (tính năng). Nó dựa trên các khái niệm MI và ước tính mật độ xác suất. Ví dụ trong:

1. PMI dựa trên hạt nhân : (+) có tiêu chí dừng (Tiêu chí thông tin Akaike) (-) độ phức tạp cao hơn
2. PMI dựa trên kNN : (-) không có tiêu chí dừng (+) độ phức tạp thấp hơn

Tôi đã sử dụng PMI để giảm số lượng đầu vào mạng thần kinh vì chúng làm tăng độ phức tạp và giới thiệu các vấn đề khác. Bạn có thể tìm thấy một tổng quan hoàn chỉnh về các thuật toán lựa chọn biến đầu vào (IVS) khi xem xét các phương pháp lựa chọn biến đầu vào cho giấy Mạng nơ ron nhân tạo . Bạn có thể sử dụng IVS cho SVM và khác. Để làm cho mọi thứ ngắn, sử dụng PMI.