Giảm kích thước giám sát

Tôi có một bộ dữ liệu bao gồm 15K mẫu được dán nhãn (gồm 10 nhóm). Tôi muốn áp dụng giảm kích thước thành 2 chiều, điều đó sẽ xem xét kiến ​​thức về nhãn.

Khi tôi sử dụng các kỹ thuật giảm kích thước không giám sát "tiêu chuẩn" như PCA, âm mưu phân tán dường như không liên quan gì đến các nhãn đã biết.

Liệu những gì tôi đang tìm kiếm có một tên? Tôi muốn đọc một số tài liệu tham khảo của các giải pháp.

Phương pháp tuyến tính tiêu chuẩn nhất về giảm kích thước được giám sát được gọi là phân tích phân biệt tuyến tính (LDA). Nó được thiết kế để tìm phép chiếu chiều thấp giúp tối đa hóa sự phân tách lớp. Bạn có thể tìm thấy rất nhiều thông tin về nó dưới thẻ phân tích phân biệt đối xử của chúng tôi và trong bất kỳ sách giáo khoa máy học nào, ví dụ như có sẵn miễn phí Các yếu tố của học thống kê .

Đây là một hình ảnh mà tôi tìm thấy ở đây với một tìm kiếm nhanh chóng trên google; nó hiển thị các phép chiếu PCA và LDA một chiều khi có hai lớp trong bộ dữ liệu (nguồn gốc được thêm bởi tôi):

Một cách tiếp cận khác được gọi là bình phương tối thiểu một phần (PLS). LDA có thể được hiểu là tìm kiếm các phép chiếu có tương quan cao nhất với nhãn nhóm mã hóa biến giả (theo nghĩa này LDA có thể được xem là trường hợp đặc biệt của phân tích tương quan chính tắc, CCA). Ngược lại, PLS tìm kiếm các phép chiếu có hiệp phương sai cao nhất với nhãn nhóm. Trong khi LDA chỉ mang lại 1 trục cho trường hợp của hai nhóm (như trong hình trên), PLS sẽ tìm thấy nhiều trục được sắp xếp theo hiệp phương sai. Lưu ý rằng khi có nhiều hơn hai nhóm có trong tập dữ liệu, có những "hương vị" khác nhau của PLS sẽ tạo ra kết quả hơi khác nhau.

Cập nhật (2018)

Tôi nên tìm thời gian để mở rộng câu trả lời này; chủ đề này có vẻ là phổ biến nhưng câu trả lời ban đầu của tôi ở trên là rất ngắn và không đủ chi tiết.

$k$