Làm thế nào để hình dung phân tích tương quan chính tắc nào (so với phân tích thành phần chính nào)?

Phân tích tương quan Canonical (CCA) là một kỹ thuật liên quan đến phân tích thành phần chính (PCA). Mặc dù rất dễ để dạy PCA hoặc hồi quy tuyến tính bằng cách sử dụng biểu đồ phân tán (xem một vài nghìn ví dụ về tìm kiếm hình ảnh google), tôi chưa thấy một ví dụ hai chiều trực quan tương tự cho CCA. Làm thế nào để giải thích trực quan những gì CCA tuyến tính làm?

Chà, tôi nghĩ thật khó để trình bày một lời giải thích trực quan về phân tích tương quan Canonical (CCA) phân tích các thành phần chính (PCA) hoặc hồi quy tuyến tính . Hai cái sau thường được giải thích và so sánh bằng các phân tán dữ liệu 2D hoặc 3D, nhưng tôi nghi ngờ nếu điều đó là có thể với CCA. Dưới đây tôi đã vẽ những bức tranh có thể giải thích bản chất và sự khác biệt trong ba quy trình, nhưng ngay cả với những bức ảnh này - đó là các biểu diễn vectơ trong "không gian chủ đề" - có vấn đề với việc chụp CCA đầy đủ. (Đối với đại số / thuật toán phân tích tương quan chính tắc, hãy xem ở đây .)

Vẽ các cá thể như các điểm trong một không gian trong đó các trục là các biến, một biểu đồ phân tán thông thường, là một không gian biến . Nếu bạn vẽ theo cách ngược lại - các biến là các điểm và các cá nhân là các trục - đó sẽ là một không gian chủ đề . Vẽ nhiều trục thực sự không cần thiết bởi vì không gian có số lượng kích thước không dư thừa bằng số lượng biến không cộng tuyến. Các điểm khác nhau được kết nối với các vectơ gốc và dạng, mũi tên, kéo dài không gian chủ đề; vì vậy chúng tôi ở đây ( xem thêm ). Trong một không gian chủ đề, nếu các biến đã được căn giữa, cosin của góc giữa các vectơ của chúng là tương quan Pearson giữa chúng và bình phương của vectơ là phương sai của chúng. Trên các hình ảnh bên dưới các biến được hiển thị là trung tâm (không cần phát sinh liên tục).

Thành phần chủ yếu

Các biến và tương quan dương: chúng có góc nhọn giữa chúng. Các thành phần chính và nằm trong cùng một không gian "mặt phẳng X" được kéo dài bởi hai biến. Các thành phần cũng là các biến, chỉ trực giao lẫn nhau (không tương quan). Hướng của là để tối đa hóa tổng của hai tải trọng bình phương của thành phần này; và , thành phần còn lại, đi trực giao với trong mặt phẳng X. Độ dài bình phương của cả bốn vectơ là phương sai của chúng (phương sai của một thành phần là tổng của các tải trọng bình phương đã nói ở trên). Tải thành phần là tọa độ của các biến trên các thành phần -$X_1$$X_2$$P_1$$P_2$$P_1$$P_2$$P_1$$a$Hiển thị trên pic bên trái. Mỗi biến là tổ hợp tuyến tính không có lỗi của hai thành phần, với các tải tương ứng là các hệ số hồi quy. Và ngược lại , mỗi thành phần là sự kết hợp tuyến tính không có lỗi của hai biến; các hệ số hồi quy trong tổ hợp này được cho bởi tọa độ nghiêng của các thành phần trên các biến - 's được hiển thị trên pic bên phải. Độ lớn hệ số hồi quy thực tế sẽ được chia cho sản phẩm có độ dài (độ lệch chuẩn) của các thành phần dự đoán và dự báo biến, ví dụ như . [Chú thích: Các giá trị của các thành phần xuất hiện trong hai kết hợp tuyến tính nêu trên là các giá trị được tiêu chuẩn hóa, st. nhà phát triển$b$$b$$b_{12}/(|P_1|*|X_2|)$= 1. Điều này là do thông tin về phương sai của chúng bị bắt bởi các tải . Để nói về các giá trị thành phần unstandardized, 's trên pic trên nên vector riêng ' giá trị, phần còn lại của lý luận là giống nhau.]$a$

Hồi quy bội

Trong khi ở PCA, mọi thứ đều nằm trong mặt phẳng X, trong hồi quy bội xuất hiện một biến phụ thuộc thường không thuộc về mặt phẳng X, không gian của các yếu tố dự đoán , . Nhưng là vuông góc chiếu lên mặt phẳng X, và chiếu'các ' bóng râm s, là dự đoán bởi hoặc kết hợp tuyến tính của hai 's. Trên hình, độ dài bình phương của là phương sai lỗi. Cosin giữa và là hệ số tương quan nhiều. Giống như với PCA, các hệ số hồi quy được cho bởi tọa độ nghiêng của dự đoán ($Y$$X_1$$X_2$$Y$$Y'$$Y$$X$$e$$Y$$Y'$$Y'$) vào các biến - 's. Độ lớn hệ số hồi quy thực tế sẽ được chia cho chiều dài (độ lệch chuẩn) của biến dự đoán, ví dụ.$b$$b$$b_{2}/|X_2|$

Tương quan Canonical

Trong PCA, một tập hợp các biến tự dự đoán: chúng mô hình các thành phần chính lần lượt mô hình lại các biến, bạn không để lại khoảng trống của các yếu tố dự đoán và (nếu bạn sử dụng tất cả các thành phần) thì dự đoán không có lỗi. Trong hồi quy bội, một tập hợp các biến dự đoán một biến ngoại lai và do đó có một số lỗi dự đoán. Trong CCA, tình huống tương tự như trong hồi quy, nhưng (1) các biến ngoại lai là nhiều, tạo thành một tập hợp của riêng chúng; (2) hai bộ dự đoán đồng thời với nhau (do đó tương quan chứ không phải hồi quy); (3) những gì họ dự đoán ở nhau là một trích xuất, một biến tiềm ẩn, hơn là dự đoán quan sát của hồi quy ( xem thêm ).

Chúng ta hãy liên quan đến bộ biến thứ hai và để tương quan chính tắc với bộ của chúng ta . Chúng ta có các khoảng trắng - ở đây, các mặt phẳng - X và Y. Cần thông báo rằng để tình huống không xảy ra - giống như ở trên với hồi quy trong đó đứng ngoài mặt phẳng X - các mặt phẳng X và Y chỉ giao nhau ở một điểm, nguồn gốc. Thật không may, không thể vẽ trên giấy vì trình bày 4D là cần thiết. Dù sao, mũi tên màu xám chỉ ra rằng hai nguồn gốc là một điểm và là điểm duy nhất được chia sẻ bởi hai mặt phẳng. Nếu được chụp, phần còn lại của bức tranh giống với hồi quy. và$Y_1$$Y_2$$X$$Y$$V_x$$V_y$là cặp biến thiên kinh điển. Mỗi phương sai chính tắc là sự kết hợp tuyến tính của các biến tương ứng, giống như . là hình chiếu trực giao của lên mặt phẳng X. Ở đây là hình chiếu của trên mặt phẳng X và đồng thời là hình chiếu của trên mặt phẳng Y, nhưng chúng không phải là hình chiếu trực giao. Thay vào đó, chúng được tìm thấy (trích xuất) để giảm thiểu góc giữa chúng$Y'$$Y'$$Y$$V_x$$V_y$$V_y$$V_x$$\phi$. Cosine của góc đó là mối tương quan kinh điển. Do các phép chiếu không cần phải trực giao, nên độ dài (do đó phương sai) của các biến thiên chính tắc không được xác định tự động bởi thuật toán phù hợp và phải tuân theo các quy ước / ràng buộc có thể khác nhau trong các triển khai khác nhau. Số lượng các cặp biến thiên chính tắc (và do đó số lượng tương quan chính tắc) là min (số s, số s). Và đây là lúc CCA giống với PCA. Trong PCA, bạn đọc lướt các thành phần chính trực giao lẫn nhau (như thể) đệ quy cho đến khi tất cả các biến thiên đa biến bị cạn kiệt. Tương tự, trong các cặp biến thiên tương quan lẫn nhau của CCA được trích xuất cho đến khi tất cả các biến thiên đa biến có thể dự đoán được$X$$Y$trong không gian nhỏ hơn (thiết lập ít hơn) là lên. Trong ví dụ của chúng tôi với so với vẫn còn cặp kinh điển tương quan thứ hai và yếu hơn (trực giao với ) và (trực giao với ).$X_1$ $X_2$$Y_1$ $Y_2$$V_{x(2)}$$V_x$$V_{y(2)}$$V_y$

Để biết sự khác biệt giữa hồi quy CCA và PCA +, xem thêm Thực hiện CCA so với xây dựng biến phụ thuộc với PCA và sau đó thực hiện hồi quy .

Đối với tôi, rất hữu ích khi đọc trong cuốn sách của S. Mulaik "The Foundations of Factoranalysis" (1972), rằng có một phương pháp hoàn toàn là xoay các ma trận tải các yếu tố để đi đến một mối tương quan chính tắc, vì vậy tôi có thể định vị trong tập hợp các khái niệm mà tôi đã hiểu từ trước đến nay từ phân tích thành phần chính và phân tích nhân tố.

Có lẽ bạn quan tâm đến ví dụ này (mà tôi đã xây dựng lại từ lần thực hiện / thảo luận đầu tiên vào khoảng năm 1998 chỉ một vài ngày trước để kiểm tra chéo và xác minh lại phương pháp chống lại tính toán của SPSS). Xem tại đây . Tôi đang sử dụng công cụ ma trận / pca nhỏ của mình Inside-[R]và Matmatecho việc này, nhưng tôi nghĩ nó có thể được xây dựng lại Rmà không cần quá nhiều nỗ lực.

Câu trả lời này không cung cấp trợ giúp trực quan để hiểu CCA, tuy nhiên cách giải thích hình học tốt về CCA được trình bày trong Chương 12 của Anderson-1958 [1]. Ý chính của nó là như sau:

Xem xét điểm dữ liệu , tất cả các thứ nguyên . Đặt là ma trận chứa . Một cách để xem dữ liệu là diễn giải như một tập hợp các điểm dữ liệu trong không gian con hai chiều . Trong trường hợp đó, nếu chúng ta tách các điểm dữ liệu đầu tiên khỏi các điểm dữ liệu còn lại , CCA sẽ cố gắng tìm một tổ hợp tuyến tính của các vectơ song song (càng song song càng tốt) với tuyến tính kết hợp của còn lại$N$$x_1, x_2, ..., x_N$$p$$X$$p\times N$$x_i$$X$$p$$(N-1)$$^*$$p_1$$p_2$$x_1,...,x_{p_1}$$p_2$vectơ .$x_{p_1+1}, ..., x_p$

Tôi thấy quan điểm này thú vị vì những lý do sau:

• Nó cung cấp một giải thích hình học thú vị về các mục của các biến chính tắc CCA.
• Các hệ số tương quan được liên kết với góc giữa hai phép chiếu CCA.
• Các tỷ lệ của và có thể liên quan trực tiếp đến khả năng CCA tìm thấy các điểm dữ liệu tương quan tối đa. Do đó, mối quan hệ giữa các giải pháp quá mức và CCA là rõ ràng. Gợi ý: Các điểm dữ liệu có thể mở rộng không gian hai chiều , khi quá nhỏ (trường hợp nghèo mẫu).$\frac{p_1}{N}$$\frac{p_2}{N}$$\rightarrow$$(N-1)$$N$

Ở đây tôi đã thêm một ví dụ với một số mã nơi bạn có thể thay đổi và và xem khi chúng quá cao, các phép chiếu CCA nằm chồng lên nhau.$p_1$$p_2$

* Lưu ý rằng không gian con là -dimensional chứ không phải -dimensional, do ràng buộc định tâm (nghĩa là ).$(N-1)$$N$$\text{mean}(x_i) = 0$

[1] Anderson, TW Giới thiệu về phân tích thống kê đa biến. Tập 2. New York: Wiley, 1958.

Cách tốt nhất để dạy thống kê là với dữ liệu. Các kỹ thuật thống kê đa biến thường được thực hiện rất phức tạp với ma trận không trực quan. Tôi sẽ giải thích CCA bằng Excel. Tạo hai mẫu, thêm các biến thể mới (các cột cơ bản) và hiển thị phép tính. Và theo như cách xây dựng ma trận của CCA, cách tốt nhất là dạy với trường hợp hai biến trước rồi mở rộng nó.