PCA khi kích thước lớn hơn số lượng mẫu

Tôi đã bắt gặp một kịch bản trong đó tôi có 10 tín hiệu / người cho 10 người (vì vậy 100 mẫu) chứa 14000 điểm dữ liệu (kích thước) mà tôi cần chuyển đến bộ phân loại. Tôi muốn giảm tính chiều của dữ liệu này và PCA dường như là cách để làm điều đó. Tuy nhiên, tôi chỉ có thể tìm thấy các ví dụ về PCA trong đó số lượng mẫu lớn hơn số lượng kích thước. Tôi đang sử dụng ứng dụng PCA tìm thấy PC sử dụng SVD. Khi tôi vượt qua nó, tập dữ liệu 100x14000 của tôi có 101 máy tính được trả về nên phần lớn kích thước rõ ràng bị bỏ qua. Chương trình chỉ ra 6 PC đầu tiên chứa 90% phương sai.

Đây có phải là một giả định hợp lý rằng 101 PC này chứa cơ bản tất cả các phương sai và các kích thước còn lại là không thể bỏ qua?

Một trong những bài báo tôi đã đọc tuyên bố rằng, bằng cách sử dụng bộ dữ liệu tương tự (mặc dù chất lượng thấp hơn một chút) so với của tôi, họ có thể giảm 4500 kích thước xuống còn 80 giữ lại 96% thông tin ban đầu. Các sóng giấy trên các chi tiết của kỹ thuật PCA được sử dụng, chỉ có 3100 mẫu có sẵn và tôi có lý do để tin rằng ít mẫu hơn được sử dụng để thực sự thực hiện PCA (để loại bỏ sai lệch khỏi giai đoạn phân loại).

Tôi có thiếu thứ gì không hay đây thực sự là cách mà PCA được sử dụng với bộ dữ liệu cỡ mẫu thấp có kích thước cao? Bất kì phản hồi nào cũng sẽ được đánh giá cao.

Tôi sẽ xem xét vấn đề từ một góc độ hơi khác: mức độ phức tạp mà một mô hình bạn có thể chi trả chỉ với 10 đối tượng / 100 mẫu?

Và câu hỏi đó tôi thường trả lời với: ít hơn 100 PC. Lưu ý rằng tôi làm việc trên một loại dữ liệu khác (phổ rung động), vì vậy mọi thứ có thể thay đổi một chút. Trong lĩnh vực của tôi, một thiết lập chung sẽ sử dụng 10 hoặc 25 hoặc 50 PC được tính từ phổ O (1000) của các đối tượng O (10).

Đây là những gì tôi sẽ làm:

• Nhìn vào phương sai được bao phủ bởi 100 PC đó. Tôi thường thấy rằng chỉ có vài thành phần thực sự đóng góp vào phương sai trong dữ liệu của chúng tôi.

• Tôi rất thích PLS là tiền xử lý để clasization trên PCA vì nó thực hiện công việc tốt hơn nhiều trong việc phân loại các hướng có độ biến thiên cao không giúp phân loại (trong trường hợp của tôi có thể là các biến thể tập trung, độ dày mẫu khác nhau ,. ..). Theo kinh nghiệm của tôi, tôi thường nhận được các phân loại tương tự với 10 biến tiềm ẩn PLS hoặc 25 đến 50 PC.

• Các mẫu xác nhận cần được xử lý với vòng xoay PCA chỉ được tính từ tập huấn luyện, nếu không, việc xác thực có thể (và trong các trường hợp cực đoan như bạn có thể sẽ có) có độ lệch quá lớn.
  Nói cách khác, nếu bạn thực hiện xác thực ngoài bootstrap hoặc xác thực chéo, tiền xử lý PCA hoặc PLS cần được tính riêng cho từng tổ hợp bộ thử nghiệm / thử nghiệm riêng biệt.

$n$$p$$n \leq p$$n$$n-1$

Đến đây từ một góc độ khác:

$k$$k$$\leq$

$k$