Trong PCA, có cách nào để loại bỏ các biến có hệ thống để tối đa hóa sự phân chia của hai quần thể không?

Tôi đang cố gắng điều tra bằng cách sử dụng phân tích thành phần chính xem có thể đoán được với sự tự tin tốt từ dân số nào ("Aurignacian" hoặc "Gravettian") một datapoint mới đến từ đâu. Một datapoint được mô tả bởi 28 biến, hầu hết trong số đó là tần số tương đối của các cổ vật khảo cổ. Các biến còn lại được tính là tỷ lệ của các biến khác.

Sử dụng tất cả các biến, các quần thể tách riêng một phần (subplot (a)), nhưng vẫn có một số chồng chéo trong phân phối của chúng (các elip dự đoán phân phối 90%, mặc dù tôi không chắc tôi có thể giả sử phân phối bình thường của quần thể). Do đó, tôi nghĩ rằng không thể dự đoán chính xác nguồn gốc của một biểu dữ liệu mới:

Xóa một biến (r-BE), sự trùng lặp trở nên quan trọng hơn nhiều, (các ô con (d), (e) và (f)), vì các quần thể không phân tách trong bất kỳ lô PCA nào được ghép nối: 1-2, 3- 4, ..., 25-26 và 1-27. Tôi lấy điều này có nghĩa là r-BE là điều cần thiết để phân tách hai quần thể, bởi vì tôi nghĩ rằng kết hợp lại, các lô PCA này đại diện cho 100% "thông tin" (phương sai) trong tập dữ liệu.

Do đó, tôi đã vô cùng ngạc nhiên khi nhận thấy rằng các quần thể thực sự đã tách biệt gần như hoàn toàn nếu tôi bỏ tất cả trừ một số biến:

Tại sao mẫu này không hiển thị khi tôi thực hiện PCA trên tất cả các biến? Với 28 biến, có tới 268.435.427 cách bỏ một loạt chúng. Làm thế nào người ta có thể tìm thấy những người sẽ tối đa hóa sự phân chia dân số và tốt nhất cho phép đoán dân số nguồn gốc của các bảng dữ liệu mới? Tổng quát hơn, có một cách có hệ thống để tìm các mẫu "ẩn" như thế này không?

EDIT: Theo yêu cầu của amip, đây là các ô khi PC được thu nhỏ. Các mô hình rõ ràng hơn. (Tôi nhận ra mình đang nghịch ngợm bằng cách tiếp tục loại bỏ các biến, nhưng mẫu lần này chống lại việc loại bỏ các BE-BE, ngụ ý mẫu "ẩn" được chọn theo tỷ lệ):

Thành phần chính (PC) dựa trên phương sai của các biến / tính năng dự đoán. Không có gì đảm bảo rằng các tính năng biến đổi cao nhất sẽ là những tính năng có liên quan cao nhất đến phân loại của bạn. Đó là một lời giải thích có thể cho kết quả của bạn. Ngoài ra, khi bạn giới hạn bản thân vào 2 máy tính tại một thời điểm như trong các ô của mình, bạn có thể thiếu các phân tách tốt hơn tồn tại trong các mẫu chiều cao hơn.

Vì bạn đã kết hợp các yếu tố dự đoán của mình dưới dạng kết hợp tuyến tính trong các ô PC, bạn có thể xem xét việc thiết lập mô hình này như một mô hình hồi quy logistic hoặc đa phương thức. Chỉ có 2 lớp (ví dụ: "Aurignacian" so với "Gravettian"), hồi quy logistic mô tả xác suất thành viên của lớp là một hàm kết hợp tuyến tính của các biến dự đoán. Một hồi quy đa thức khái quát đến hơn một lớp.

Các phương pháp này cung cấp sự linh hoạt quan trọng đối với cả biến kết quả / phân loại và các yếu tố dự đoán. Về kết quả phân loại, bạn mô hình xác suất thành viên của lớp thay vì đưa ra lựa chọn tất cả hoặc không thể hủy bỏ trong chính mô hình. Do đó, ví dụ, bạn có thể cho phép các trọng số khác nhau cho các loại lỗi phân loại khác nhau dựa trên cùng một mô hình logistic / multinomial.

Đặc biệt khi bạn bắt đầu loại bỏ các biến dự đoán khỏi một mô hình (như bạn đang làm trong các ví dụ của mình), có một mối nguy hiểm là mô hình cuối cùng sẽ trở nên quá phụ thuộc vào mẫu dữ liệu cụ thể trong tay. Về mặt các biến dự đoán trong hồi quy logistic hoặc đa biến, bạn có thể sử dụng các phương pháp xử phạt tiêu chuẩn như LASSO hoặc hồi quy sườn để có khả năng cải thiện hiệu suất của mô hình của bạn trên các mẫu dữ liệu mới. Một mô hình logistic hoặc đa biến hồi quy gần giống với những gì bạn dường như đang cố gắng thực hiện trong các ví dụ của mình. Về cơ bản, nó dựa trên các thành phần chính của bộ tính năng, nhưng nó đánh giá các PC về mối quan hệ của chúng với các phân loại hơn là bởi các phân số của phương sai tập hợp tính năng mà chúng bao gồm.