Chọn các thành phần PCA phân tách các nhóm

Tôi thường sử dụng để chẩn đoán dữ liệu đa biến của mình bằng PCA (dữ liệu omics với hàng trăm ngàn biến và hàng chục hoặc hàng trăm mẫu). Dữ liệu thường đến từ các thử nghiệm với một số biến độc lập phân loại xác định một số nhóm và tôi thường phải trải qua một vài thành phần trước khi tôi có thể tìm thấy các biến thể hiện sự tách biệt giữa các nhóm quan tâm. Tôi đã nghĩ ra một cách khá sơ khai để tìm các thành phần phân biệt đối xử như vậy, và tôi tự hỏi

1. đến mức nào thì điều này là hợp lý / chính đáng, và
2. cho dù có những cách tốt hơn để đạt được như nhau.

Lưu ý rằng đây là thăm dò. Trước khi tôi thuyết phục bất cứ ai khác, tôi muốn thuyết phục bản thân mình. Nếu tôi thấy rằng có những thành phần phân biệt rõ ràng các nhóm lợi ích (ví dụ: kiểm soát so với điều trị), ngay cả khi chúng chịu trách nhiệm cho một phần nhỏ của phương sai của các phản hồi, tôi tin tưởng nó hơn là kết quả từ máy có giám sát học tập.

Đây là cách tiếp cận của tôi. Tôi sẽ sử dụng tập dữ liệu ví dụ "metabo" từ pca3d trong R.

Ý tưởng là để đánh giá mức độ sai lệch của từng thành phần có thể được giải thích bằng biến độc lập. Đối với điều này, tôi tính toán một mô hình đơn giản cho từng thành phần và sử dụng làm số liệu để sắp xếp các thành phần từ "thú vị nhất" đến "ít thú vị nhất".$R^2$

require( pca3d )
# data on metabolic profiles of TB patients and controls
data( metabo )
# first column is the independent variable
pca <- prcomp( metabo[,-1], scale.= T ) 

# create a model for each component
lm.m <- lm( pca$x ~ metabo[,1] )
lm.s <- summary( lm.m )
lm.r2 <- sapply( lm.s, function( x ) x$r.squared )
plot( lm.r2, type= "l" )
text( 1:length( lm.r2 ), lm.r2, 1:length( lm.r2 ), pos= 3 )

Đây là kết quả. Biểu đồ cho thấy tỷ lệ phần trăm chênh lệch của từng thành phần được giải thích bởi biến độc lập trong metabo[,1].

Chúng ta có thể sắp xếp các thành phần theo để tìm ra thành phần nào sẽ hiển thị ; ba thành phần đầu tiên là 2, 1 và 7.$r^2$order( lm.r2, decreasing= TRUE )

pca3d( pca, components= c( 1, 2, 7 ), group= metabo[,1] )

Đây là cốt truyện:

(Các loại màu đỏ và màu xanh lá cây là hai nhóm đối tượng không phải là bệnh nhân và dự kiến ​​chúng không thể được phân biệt.)

Để cải cách câu hỏi của tôi,

1. Liệu cách tiếp cận này có ý nghĩa với bạn? Vấn đề của tôi là nó trông quá giống như nạo vét dữ liệu. Ngoài ra, theo trực giác tôi nghĩ có lẽ tôi nên xoay bảng và hỏi phần nào của phương sai trong biến độc lập được giải thích bởi mỗi biến? Cuối cùng, tôi (gần như) chắc chắn rằng tôi đang phát minh lại bánh xe, thật tệ, vì vậy câu hỏi thứ hai của tôi là
2. Có gì tốt hơn không?

Lưu ý rằng tôi không muốn chuyển sang bình phương tối thiểu một phần hoặc bất cứ thứ gì tương tự ở giai đoạn này; Tôi chỉ muốn chẩn đoán PCA trong bối cảnh phân loại của tôi.

Câu trả lời cho câu hỏi số 1 của bạn là có, giải pháp của bạn tương đương với việc nạo vét dữ liệu. Câu trả lời cho câu hỏi số 2 của bạn là có, có những phương pháp ưu việt trong tài liệu.

$n << p$

Bạn đang chạy một phân tích tương tự như hồi quy thành phần chính, ngoại trừ việc bạn đã hoán đổi các biến độc lập và phụ thuộc của mình, dẫn đến phân tích hồi quy đa biến (trái ngược với nhiều ). Hồi quy đa biến yêu cầu kích thước mẫu của bạn lớn hơn số lượng biến phụ thuộc, một yêu cầu mà bạn đang vi phạm triệt để trong ví dụ của mình.

Nếu bạn thực sự cam kết chạy PCA trên dữ liệu của mình và sau đó sử dụng hồi quy đa biến, bạn phải sử dụng một phương pháp thích hợp. Ví dụ, xem xét MRCE và các phương pháp liên quan [1].

Tuy nhiên, mặc dù có một vài nhận xét khó hiểu mà bạn đã đưa ra, mọi thứ trong phân tích của bạn như được trình bày hiện nay cho thấy mục tiêu cuối cùng của bạn là xác định mối quan hệ giữa một tập hợp lớn các biến liên tục (metabo [, - 1]) và một biến phân loại duy nhất (metabo [ , 1]). PCA là một cách kém để thực hiện điều này. Có hai loại giải pháp chung cho vấn đề này trong trường hợp chiều cao: thứ nhất, các giải pháp giả định độ thưa và các giải pháp giả định cấu trúc nhân tố.

Các giải pháp dựa trên độ thưa thớt thường cho rằng chỉ có một tỷ lệ rất nhỏ các biến thực sự có liên quan đến biến quan tâm phân loại và cố gắng tìm tập hợp nhỏ này; ví dụ xem DALASS [2]. Các phương pháp dựa trên cấu trúc nhân tố cho rằng các biến phân biệt đối xử của bạn là biểu hiện của các biến tiềm ẩn tiềm ẩn có mối quan hệ thực sự với biến phân loại. Một ví dụ về lớp phương thức này là DLDA [3].

Lưu ý rằng tôi không nhất thiết phải đề xuất bất kỳ phương pháp nào tôi đã đề cập cho dữ liệu của bạn; bạn phải xem xét cẩn thận mục tiêu của mình và kiến ​​thức chuyên môn về vấn đề trong việc lựa chọn một phương pháp phù hợp.

[1] Rothman, Levina, Zhu (2010). Hồi quy đa biến thưa thớt với ước lượng hiệp phương sai. Tạp chí thống kê tính toán và đồ họa, tập 19, số 4, trang 947 điện962.

[2] Nickolay T. Trendafilov, Ian T. Jolliffe, DALASS: Lựa chọn biến trong phân tích phân biệt thông qua LASSO, Phân tích dữ liệu và thống kê tính toán, Tập 51, Số 8, ngày 1 tháng 5 năm 2007, Trang 3718-3736.

[3] Yu, Yang (2001). Một thuật toán LDA trực tiếp cho dữ liệu chiều cao với ứng dụng nhận dạng khuôn mặt. Nhận dạng mẫu 34, 2067-2070.

@ahfoss đã chỉ cho bạn LDA là chất tương tự phân loại cho PCA. Trên thực tế, hai phương pháp này có liên quan với nhau và cả PLS:

nature of dependent variable (for supervised)     unsupervised    supervised
or structure of data (unsupervised)
continuous                                        PCA             PLS
factor/groups/classes                                             LDA

$\mathbf I$$\mathbf I$

$n \ll p$

PLS có thể được coi là một quy trình chính quy như LASSO, và cũng có sẵn PLS thưa thớt (mặc dù tôi chưa sử dụng nó: dữ liệu của tôi phù hợp hơn với PLS bình thường, không giả định về độ thưa thớt). Để có một cuộc thảo luận tốt đẹp về các phương pháp chính quy hóa khác nhau, hãy xem ví dụ: Các yếu tố của học thống kê .

$n \gg p$

$\mathbf T =$$\mathbf X \times$$\mathbf W$
$\mathbf L =$$\mathbf X\times$$\mathbf B$

$\mathbf L'^{(n \times k - 1)} = \mathbf T^{(n \times m)} \mathbf B'^{(m \times k - 1)}$
$\phantom{\mathbf L^{(n \times k - 1)}} = \mathbf X^{(n \times p)} \mathbf W^{(p \times m)} \mathbf B'^{(m \times k - 1)}$
$\phantom{\mathbf L^{(n \times k - 1)}} = \mathbf X^{(n \times p)} \mathbf B''^{(p \times k - 1)}$
$\mathbf L'$$\mathbf B''$$\mathbf B'$$\mathbf B$

Lưu ý thực tế: trong trường hợp bạn làm việc trong R, tôi có một gói đang được phát triển cung cấp các mô hình PLS-LDA và PCA-LDA. Hãy cho tôi biết nếu bạn muốn thử.

Để tránh nạo vét dữ liệu, bạn cần xác thực mô hình cuối cùng của mình (= đo hiệu suất của nó) với dữ liệu độc lập.

Độc lập ở đây có nghĩa là trường hợp này (bệnh nhân?) Không đóng góp cho mô hình phù hợp theo bất kỳ cách nào. Đặc biệt,

• đã không nhập bất kỳ loại tiền xử lý nào liên quan đến nhiều trường hợp, chẳng hạn như định tâm hoặc tiêu chuẩn hóa
• đã không nhập tính toán PCA / PLS / ....
• đã không được sử dụng để ước tính siêu tham số.

Vì bạn chỉ có một vài trường hợp, một chiến lược lấy mẫu lại sẽ phù hợp. Trong tình huống này, có lẽ tốt nhất là sửa bất kỳ siêu đường kính nào (như số lượng PC hoặc PLS tiềm ẩn, hoặc LASSO bị ràng buộc) bằng kiến ​​thức bên ngoài để tránh phân tách dữ liệu đào tạo thứ hai của bạn để tối ưu hóa siêu tham số.