Làm cách nào để chọn số lượng thành phần để phân tích thành phần độc lập?

Trong trường hợp không có khả năng tiên đoán, số lượng thành phần sẽ yêu cầu trong Phân tích thành phần độc lập, tôi đang tìm cách tự động hóa một quy trình lựa chọn. Tôi nghĩ rằng một tiêu chí hợp lý có thể là con số giảm thiểu bằng chứng toàn cầu về mối tương quan giữa các thành phần được tính toán. Đây là mã giả của phương pháp này:

for each candidate number of components, n:
    run ICA specifying n as requested number of components
    for each pair (c1,c2) of resulting components:
        compute a model, m1: lm(c1 ~ 1)
        compute a model, m2: lm(c1 ~ c2)
        compute log likelihood ratio ( AIC(m2)-AIC(m1) ) representing the relative likelihood of a correlation between c1 & c2
    compute mean log likelihood ratio across pairs
Choose the final number of components as that which minimizes the mean log likelihood of component relatedness

Tôi cho rằng điều này sẽ tự động xử phạt các ứng cử viên lớn hơn số lượng thành phần "thật" vì ICA do các ứng cử viên đó buộc phải phân phối thông tin từ các thành phần thực duy nhất trên nhiều thành phần ước tính, làm tăng bằng chứng trung bình về mối tương quan giữa các cặp thành phần.

Điều này có nghĩa không? Nếu vậy, có cách nào nhanh hơn để đạt được một số liệu tổng hợp liên quan giữa các thành phần ước tính so với phương pháp khả năng ghi nhật ký trung bình được đề xuất ở trên (có thể tính toán khá chậm)? Nếu cách tiếp cận này không có ý nghĩa, một quy trình thay thế tốt có thể trông như thế nào?

Phương pháp tiếp cận học tập theo biến thể đối với ICA có thể thực hiện "phát hiện mức độ liên quan tự động" này. Nó tự động tắt các thành phần không cần thiết để cải thiện ràng buộc trên Bằng chứng Bayes.

Hãy xem luận điểm của James Miskin có sẵn ở đây , trong đó giới thiệu kỹ thuật này.

Điều này được John Winn (một tiến sĩ khác thực hiện việc học tập Bayesian thông qua một thông điệp chuyển qua thuật toán).

Để tìm hiểu kỹ thuật này, tôi quyết định triển khai thuật toán của Winn trong c ++ có thể thu được từ đây (phát triển tích cực).

Như Tom nói, Xác định mức độ liên quan tự động là một cách tiếp cận tốt để chọn một tập hợp nhỏ các thành phần trong mô hình xác suất.

Một cách tiếp cận khác đối với ICA là sử dụng Quy trình buffet Ấn Độ trước - Kiến thức và Ghahramani thực hiện điều này trong "Phân tích nhân tố thưa thớt vô hạn và Phân tích thành phần độc lập vô hạn".