Làm thế nào tôi có thể giải thích những gì tôi nhận được từ PCA?

Là một phần của bài tập Đại học, tôi phải tiến hành xử lý trước dữ liệu trên một tập dữ liệu thô khá lớn, đa biến (> 10). Tôi không phải là một nhà thống kê theo bất kỳ ý nghĩa nào của từ này, vì vậy tôi hơi bối rối về những gì đang diễn ra. Xin lỗi trước những gì có lẽ là một câu hỏi đơn giản đến buồn cười - đầu tôi quay cuồng sau khi xem các câu trả lời khác nhau và cố gắng lội qua các chỉ số nói.

Tôi đã đọc rằng:

• PCA cho phép tôi giảm tính chiều của dữ liệu của mình
• Nó làm như vậy bằng cách hợp nhất / loại bỏ các thuộc tính / kích thước tương quan với nhau (và do đó không cần thiết một chút)
• Nó làm như vậy bằng cách tìm các hàm riêng trên dữ liệu hiệp phương sai (nhờ một hướng dẫn tốt đẹp mà tôi đã làm theo để tìm hiểu điều này)

Đó là tuyệt vời.

Tuy nhiên, tôi thực sự loay hoay xem làm thế nào tôi có thể áp dụng điều này thực tế vào dữ liệu của mình. Chẳng hạn (đây không phải là tập dữ liệu tôi sẽ sử dụng, nhưng cố gắng làm một ví dụ điển hình mà mọi người có thể làm việc với), nếu tôi có một tập dữ liệu có nội dung như ...

PersonID     Sex     Age Range    Hours Studied     Hours Spent on TV      Test Score     Coursework Score 
1            1       2            5                 7                      60             75
2            1       3            8                 2                      70             85 
3            2       2            6                 6                      50             77
...          ...     ...          ...               ...                    ...            ...

Tôi không chắc chắn làm thế nào tôi sẽ giải thích bất kỳ kết quả.

Hầu hết các hướng dẫn tôi đã xem trực tuyến dường như cho tôi một cái nhìn rất toán học về PCA. Tôi đã thực hiện một số nghiên cứu về nó và theo dõi họ thông qua - nhưng tôi vẫn không hoàn toàn chắc chắn điều này có ý nghĩa gì với tôi, người chỉ cố gắng rút ra một số ý nghĩa từ đống dữ liệu tôi có trước mặt tôi.

Đơn giản chỉ cần thực hiện PCA trên dữ liệu của tôi (sử dụng gói số liệu thống kê) tạo ra ma trận số NxN (trong đó N là số kích thước gốc), hoàn toàn là Hy Lạp đối với tôi.

Làm thế nào tôi có thể làm PCA và lấy những gì tôi có được theo cách mà sau đó tôi có thể đưa vào tiếng Anh đơn giản về kích thước ban đầu?

Các trang 13-20 của hướng dẫn bạn đã đăng cung cấp một lời giải thích hình học rất trực quan về cách PCA được sử dụng để giảm kích thước.

Ma trận 13x13 mà bạn đề cập có lẽ là ma trận "đang tải" hoặc "xoay" (Tôi đoán dữ liệu gốc của bạn có 13 biến?) Có thể được hiểu theo một trong hai cách (tương đương):

1. Các cột (giá trị tuyệt đối của) cột trong ma trận tải của bạn mô tả mức độ mỗi biến "đóng góp" theo tỷ lệ cho mỗi thành phần.

2. Ma trận xoay vòng dữ liệu của bạn trên cơ sở được xác định bởi ma trận xoay vòng của bạn. Vì vậy, nếu bạn có dữ liệu 2 chiều và nhân dữ liệu của mình với ma trận xoay vòng, trục X mới của bạn sẽ là thành phần chính đầu tiên và trục Y mới sẽ là thành phần chính thứ hai.

EDIT: Câu hỏi này được hỏi rất nhiều, vì vậy tôi sẽ trình bày một lời giải thích trực quan chi tiết về những gì đang xảy ra khi chúng ta sử dụng PCA để giảm kích thước.

Xem xét một mẫu 50 điểm được tạo từ nhiễu y = x +. Thành phần chính đầu tiên sẽ nằm dọc theo dòng y = x và thành phần thứ hai sẽ nằm dọc theo dòng y = -x, như được hiển thị bên dưới.

Tỷ lệ khung hình làm rối tung nó lên một chút, nhưng hãy lưu ý rằng các thành phần là trực giao. Áp dụng PCA sẽ xoay dữ liệu của chúng tôi để các thành phần trở thành trục x và y:

Dữ liệu trước khi chuyển đổi là các vòng tròn, dữ liệu sau là chéo. Trong ví dụ cụ thể này, dữ liệu không được xoay quá nhiều khi nó được lật ngang qua đường y = -2x, nhưng chúng ta có thể dễ dàng đảo ngược trục y để biến đây thực sự là một phép quay mà không mất tính tổng quát như được mô tả ở đây .

Phần lớn phương sai, tức là thông tin trong dữ liệu, được trải dọc theo thành phần chính đầu tiên (được biểu thị bằng trục x sau khi chúng tôi đã chuyển đổi dữ liệu). Có một chút khác biệt dọc theo thành phần thứ hai (bây giờ là trục y), nhưng chúng ta có thể loại bỏ hoàn toàn thành phần này mà không mất thông tin đáng kể . Vì vậy, để thu gọn điều này từ hai chiều thành 1, chúng tôi cho phép chiếu dữ liệu lên thành phần chính đầu tiên mô tả hoàn toàn dữ liệu của chúng tôi.

Chúng tôi có thể khôi phục một phần dữ liệu gốc của mình bằng cách xoay (ok, chiếu) nó trở lại các trục ban đầu.

Các điểm màu xanh đậm là dữ liệu "được phục hồi", trong khi các điểm trống là dữ liệu gốc. Như bạn có thể thấy, chúng tôi đã mất một số thông tin từ dữ liệu gốc, cụ thể là phương sai theo hướng của thành phần chính thứ hai. Nhưng đối với nhiều mục đích, mô tả nén này (sử dụng phép chiếu dọc theo thành phần chính đầu tiên) có thể phù hợp với nhu cầu của chúng tôi.

Đây là mã tôi đã sử dụng để tạo ví dụ này trong trường hợp bạn muốn tự sao chép nó. Nếu bạn giảm phương sai của thành phần nhiễu trên dòng thứ hai, lượng dữ liệu bị mất do chuyển đổi PCA cũng sẽ giảm vì dữ liệu sẽ hội tụ vào thành phần chính đầu tiên:

set.seed(123)
y2 = x + rnorm(n,0,.2)
mydata = cbind(x,y2)
m2 = colMeans(mydata)

p2 = prcomp(mydata, center=F, scale=F)
reduced2= cbind(p2$x[,1], rep(0, nrow(p2$x)))
recovered = reduced2 %*% p2$rotation

plot(mydata, xlim=c(-1.5,1.5), ylim=c(-1.5,1.5), main='Data with principal component vectors')
arrows(x0=m2[1], y0=m2[2]
       ,x1=m2[1]+abs(p2$rotation[1,1])
       ,y1=m2[2]+abs(p2$rotation[2,1])
       , col='red')
arrows(x0=m2[1], y0=m2[2]
       ,x1=m2[1]+p2$rotation[1,2]
       ,y1=m2[2]+p2$rotation[2,2]
       , col='blue')

plot(mydata, xlim=c(-1.5,1.5), ylim=c(-1.5,1.5), main='Data after PCA transformation')
points(p2$x, col='black', pch=3)
arrows(x0=m2[1], y0=m2[2]
       ,x1=m2[1]+abs(p2$rotation[1,1])
       ,y1=m2[2]+abs(p2$rotation[2,1])
       , col='red')
arrows(x0=m2[1], y0=m2[2]
       ,x1=m2[1]+p2$rotation[1,2]
       ,y1=m2[2]+p2$rotation[2,2]
       , col='blue')
arrows(x0=mean(p2$x[,1])
      ,y0=0
      ,x1=mean(p2$x[,1])
      ,y1=1
      ,col='blue'
       )
arrows(x0=mean(p2$x[,1])
       ,y0=0
       ,x1=-1.5
       ,y1=0
       ,col='red'
)
lines(x=c(-1,1), y=c(2,-2), lty=2)


plot(p2$x, xlim=c(-1.5,1.5), ylim=c(-1.5,1.5), main='PCA dimensionality reduction')
points(reduced2, pch=20, col="blue")
for(i in 1:n){
  lines(rbind(reduced2[i,], p2$x[i,]), col='blue')
}

plot(mydata, xlim=c(-1.5,1.5), ylim=c(-1.5,1.5), main='Lossy data recovery after PCA transformation')
arrows(x0=m2[1], y0=m2[2]
       ,x1=m2[1]+abs(p2$rotation[1,1])
       ,y1=m2[2]+abs(p2$rotation[2,1])
       , col='red')
arrows(x0=m2[1], y0=m2[2]
       ,x1=m2[1]+p2$rotation[1,2]
       ,y1=m2[2]+p2$rotation[2,2]
       , col='blue')
for(i in 1:n){
  lines(rbind(recovered[i,], mydata[i,]), col='blue')
}
points(recovered, col='blue', pch=20)

Tôi muốn nói rằng câu hỏi của bạn là một câu hỏi đủ điều kiện không chỉ trong cross validatedmà còn ở đó stack overflow, nơi bạn sẽ được hướng dẫn cách thực hiện giảm kích thước trong R (.. v.v.) để giúp bạn xác định hiệu quả cột / biến nào đóng góp tốt hơn cho phương sai toàn bộ dữ liệu.

PCA (Phân tích thành phần chính) có chức năng tương tự như SVD (Phân tách giá trị số đơn) và chúng thực sự là quá trình chính xác sau khi áp dụng scale/ chuyển đổi z cho tập dữ liệu.

Dưới đây là một số tài nguyên mà bạn có thể trải qua trong nửa giờ để hiểu rõ hơn nhiều.

Tôi không có khả năng đưa ra một giải pháp mã hóa sinh động để giúp bạn hiểu cách triển khai svd và từng thành phần, nhưng mọi người thật tuyệt vời, đây là một số bài viết rất nhiều thông tin mà tôi đã sử dụng để bắt kịp phía ứng dụng của SVD ngay cả khi tôi biết cách tính toán một vấn đề 3by3 SVD .. :)

1. Lớp phân tích dữ liệu Coursera của Jeff Leek: Bài giảng video / Ghi chú lớp
2. Một bài viết rất sinh viên
3. Một bài đăng từ Hiệp hội toán học Mỹ.

Trong PCA, bạn muốn mô tả dữ liệu theo ít biến hơn. Bạn có thể nhận được cùng một thông tin trong ít biến hơn so với tất cả các biến. Ví dụ, số giờ học và điểm kiểm tra có thể tương quan và chúng tôi không phải bao gồm cả hai.

Trong ví dụ của bạn, giả sử mục tiêu của bạn là đo lường mức độ "tốt" của một học sinh / người. Nhìn vào tất cả các biến này, có thể khó hiểu để xem làm thế nào để làm điều này. PCA cho phép chúng tôi thấy rõ học sinh nào tốt / xấu.

Nếu thành phần chính đầu tiên giải thích hầu hết các biến thể của dữ liệu, thì đây là tất cả những gì chúng ta cần. Bạn sẽ tìm thấy mối tương quan giữa thành phần này và tất cả các biến. Tương quan "lớn" biểu thị các biến quan trọng. Ví dụ, thành phần đầu tiên có thể tương quan mạnh mẽ với số giờ nghiên cứu và điểm kiểm tra. Vì vậy, giá trị cao của thành phần đầu tiên cho thấy giá trị cao về thời gian nghiên cứu và điểm kiểm tra.