Làm thế nào tôi có thể nói rằng không có mẫu trong kết quả PCA?

Tôi có hơn 1000 tập dữ liệu mẫu gồm 19 biến. Mục tiêu của tôi là dự đoán một biến nhị phân dựa trên 18 biến khác (nhị phân và liên tục). Tôi khá tự tin rằng 6 trong số các biến dự đoán có liên quan đến phản hồi nhị phân, tuy nhiên, tôi muốn phân tích sâu hơn về tập dữ liệu và tìm kiếm các liên kết hoặc cấu trúc khác mà tôi có thể bị thiếu. Để làm điều này, tôi quyết định sử dụng PCA và phân cụm.

Khi chạy PCA trên dữ liệu đã chuẩn hóa, hóa ra cần phải giữ 11 thành phần để giữ lại 85% phương sai. Bằng cách vẽ sơ đồ các cặp, tôi nhận được điều này:

Tôi không chắc chắn về những gì tiếp theo ... Tôi thấy không có mô hình đáng kể nào trong pca và tôi tự hỏi điều này có nghĩa là gì và liệu nó có thể được gây ra bởi thực tế là một số biến là nhị phân. Bằng cách chạy một thuật toán phân cụm với 6 cụm, tôi nhận được kết quả sau đây không chính xác là một sự cải tiến mặc dù một số đốm màu dường như nổi bật (những cụm màu vàng).

Như bạn có thể nói, tôi không phải là một chuyên gia về PCA, nhưng đã xem một số hướng dẫn và làm thế nào nó có thể mạnh mẽ để có cái nhìn thoáng qua về các cấu trúc trong không gian chiều cao. Với các chữ số MNIST nổi tiếng (hoặc bộ dữ liệu IRIS), nó hoạt động rất tốt. Câu hỏi của tôi là: tôi nên làm gì bây giờ để hiểu rõ hơn về PCA? Phân cụm dường như không nhận được bất cứ điều gì hữu ích, làm thế nào tôi có thể nói rằng không có mẫu nào trong PCA hoặc tôi nên thử gì tiếp theo để tìm mẫu trong dữ liệu PCA?

Bạn giải thích âm mưu phương sai cho tôi biết rằng PCA là vô nghĩa ở đây. 18/11 là 61%, vì vậy bạn cần 61% các biến của mình để giải thích 85% phương sai. Theo tôi, đó không phải là trường hợp của PCA. Tôi sử dụng PCA khi 3-5 yếu tố của 18 giải thích 95% hoặc hơn về phương sai.

CẬP NHẬT: Nhìn vào biểu đồ tỷ lệ phần trăm tích lũy của phương sai được giải thích bởi số lượng PC. Đây là từ lĩnh vực mô hình cấu trúc kỳ hạn lãi suất. Bạn thấy cách 3 thành phần giải thích hơn 99% tổng phương sai. Điều này có thể trông giống như một ví dụ tạo nên cho quảng cáo PCA :) Tuy nhiên, đây là một điều có thật. Các kỳ hạn lãi suất có nhiều tương quan, đó là lý do tại sao PCA rất tự nhiên trong ứng dụng này. Thay vì đối phó với một vài chục kỳ hạn, bạn xử lý chỉ với 3 thành phần.

Nếu bạn có mẫu và chỉ có dự đoán thì sẽ rất hợp lý nếu chỉ sử dụng tất cả các yếu tố dự đoán trong một mô hình. Trong trường hợp đó, bước PCA có thể không cần thiết.p = $N>1000$$p=19$

Nếu bạn tự tin rằng chỉ một tập hợp con của các biến là thực sự giải thích, sử dụng mô hình hồi quy thưa thớt, ví dụ: Mạng đàn hồi, có thể giúp bạn thiết lập điều này.

Ngoài ra, việc giải thích kết quả PCA bằng cách sử dụng đầu vào loại hỗn hợp (nhị phân so với thực, các thang đo khác nhau, v.v., xem câu hỏi CV ở đây ) không đơn giản và bạn có thể muốn tránh nó trừ khi có lý do rõ ràng để làm như vậy.

Tôi sẽ diễn giải câu hỏi của bạn ngắn gọn nhất có thể. Hãy cho tôi biết nếu nó thay đổi ý nghĩa của bạn.

Tôi khá tự tin rằng 6 trong số các biến dự đoán được liên kết với phản hồi nhị phân [nhưng] Tôi không thấy mẫu nào đáng kể trong pca

Tôi cũng không thấy bất kỳ "mẫu quan trọng" nào, ngoài tính nhất quán trong các cặp của bạn. Tất cả chỉ là những đốm tròn. Tôi tò mò về những gì bạn mong đợi để xem. Rõ ràng tách cụm điểm một số các cặp? Một vài lô rất gần với tuyến tính?

Kết quả PCA của bạn - các cặp ghép đôi và chỉ 85% phương sai được ghi nhận trong 11 thành phần chính hàng đầu - không loại trừ linh cảm của bạn về 6 biến là đủ để dự đoán phản ứng nhị phân.

Hãy tưởng tượng những tình huống này:

1. Giả sử kết quả PCA của bạn cho thấy 99% phương sai được bắt bởi 6 thành phần chính.

   Điều đó dường như có thể hỗ trợ linh cảm của bạn về 6 biến dự đoán - có thể bạn có thể xác định một mặt phẳng hoặc một bề mặt khác trong không gian 6 chiều đó phân loại các điểm rất tốt và bạn có thể sử dụng bề mặt đó làm công cụ dự đoán nhị phân. Điều này đưa tôi đến số 2 ...

2. Giả sử 6 thành phần chính hàng đầu của bạn có các cặp giống như thế này

   

   Nhưng hãy để mã màu một phản ứng nhị phân tùy ý

   

   Mặc dù bạn đã quản lý để nắm bắt gần như tất cả (99%) phương sai trong 6 biến, bạn vẫn không được đảm bảo có sự phân tách không gian để dự đoán phản ứng nhị phân của bạn.

Bạn thực sự có thể cần một số ngưỡng số (có thể được vẽ như các bề mặt trong không gian 6 chiều đó) và tư cách thành viên của điểm đối với phân loại nhị phân của bạn có thể phụ thuộc vào biểu thức điều kiện phức tạp được tạo từ mối quan hệ của điểm đó với từng ngưỡng đó. Nhưng đó chỉ là một ví dụ về cách dự đoán một lớp nhị phân. Có rất nhiều cấu trúc dữ liệu và phương pháp để đại diện, đào tạo và dự đoán. Đây là một lời trêu ghẹo. Để trích,

Thường thì phần khó nhất trong việc giải quyết vấn đề máy học có thể là tìm ra công cụ ước tính phù hợp cho công việc.