Làm thế nào để thực hiện hồi quy trực giao (tổng bình phương nhỏ nhất) thông qua PCA?

Tôi luôn sử dụng lm()trong R để thực hiện hồi quy tuyến tính của trên . Hàm đó trả về một hệ số sao cho $y$ $x$ $\beta$

y = β x .

$y = \beta x.$

Hôm nay tôi đã học về tổng bình phương tối thiểu và princomp()chức năng đó (phân tích thành phần chính, PCA) có thể được sử dụng để thực hiện nó. Nó sẽ tốt cho tôi (chính xác hơn). Tôi đã thực hiện một số thử nghiệm bằng cách sử dụng princomp(), như:

r <- princomp( ~ x + y)

Vấn đề của tôi là: làm thế nào để giải thích kết quả của nó? Làm thế nào tôi có thể có được hệ số hồi quy? Theo "hệ số", ý tôi là số mà tôi phải sử dụng để nhân giá trị để đưa ra một số gần với . $\beta$ $x$ $y$

— Tweets
nguồn

Một lúc nào đó, tôi hơi bối rối. nhìn vào: zoonek2.free.fr/UNIX/48_R/09.html Đây được gọi là PCA (Phân tích thành phần chính, còn gọi là "hồi quy trực giao" hoặc "tổng bình phương vuông góc" hoặc "tổng bình phương nhỏ nhất") vì vậy tôi nghĩ chúng ta đang nói chuyện về TLS với Princeomp () Không?

— Tweets

Không; Đó là hai điều khác nhau, xem bài viết trên wikipedia về PCA. Thực tế nó được sử dụng ở đây là một hack (tôi không biết chính xác như thế nào, nhưng tôi sẽ kiểm tra nó); đó là lý do tại sao việc trích xuất các hệ số phức tạp.

Một câu hỏi liên quan: stats.stackexchange.com/questions/2691/ và một bài đăng trên blog được tham chiếu bởi một trong những câu trả lời: cerebralmastication.com/2010/09/ Thẻ

— Jonathan

Bình phương tối thiểu bình thường so với tổng bình phương tối thiểu

Trước tiên chúng ta hãy xem xét trường hợp đơn giản nhất chỉ có một biến dự đoán (độc lập) . Để đơn giản, hãy để cả và làm trung tâm, tức là chặn luôn bằng không. Sự khác biệt giữa hồi quy OLS tiêu chuẩn và hồi quy TLS "trực giao" được thể hiện rõ ràng trên hình này (được điều chỉnh bởi tôi) từ câu trả lời phổ biến nhất trong luồng phổ biến nhất trên PCA: $x$ $x$ $y$

OLS vs TLS

OLS phù hợp phương trình bằng cách giảm thiểu khoảng cách bình phương giữa các giá trị quan sát và các giá trị dự đoán . TLS phù hợp với cùng một phương trình bằng cách giảm thiểu khoảng cách bình phương giữa các điểm và hình chiếu của chúng trên đường thẳng. Trong trường hợp đơn giản nhất, dòng TLS chỉ đơn giản là thành phần chính đầu tiên của dữ liệu 2D. Để tìm , đừng PCA trên điểm, tức là xây dựng hiệp phương sai ma trận và tìm eigenvector đầu tiên $y=\beta x$ $y$ $\hat y$ $(x,y)$ $\beta$ $(x,y)$ $2\times 2$ $\boldsymbol \Sigma$ ; sau đó . $\mathbf v = (v_x, v_y)$ $\beta = v_y/v_x$

Trong Matlab:

 v = pca([x y]);    //# x and y are centered column vectors
 beta = v(2,1)/v(1,1);

Trong R:

 v <- prcomp(cbind(x,y))$rotation
 beta <- v[2,1]/v[1,1]

Nhân tiện, điều này sẽ mang lại độ dốc chính xác ngay cả khi và không được căn giữa (vì các chức năng PCA tích hợp sẽ tự động thực hiện định tâm). Để khôi phục lại đánh chặn, tính toán . $x$ $y$ $\beta_0 = \bar y - \beta \bar x$

OLS so với TLS, hồi quy bội

Cho một biến phụ thuộc và nhiều biến độc lập (một lần nữa, tất cả các trung tâm vì đơn giản), hồi quy phù hợp với một phương trình OLS không phù hợp bằng cách giảm thiểu các lỗi bình phương giữa các giá trị quan sát của và các giá trị dự đoán . TLS không phù hợp bằng cách giảm thiểu khoảng cách bình phương giữa quan sát $y$ $x_i$

y = β_{1} x_{1} + \dots + β_{p} x_{p} .

$y= \beta_1 x_1 + \ldots + \beta_p x_p.$

y

$y$

\hat{y}

$\hat y$

(x, y) \in R^{p + 1}

$(\mathbf x, y)\in\mathbb R^{p+1}$ điểm và các điểm gần nhất trên mặt phẳng hồi quy / siêu phẳng.

Lưu ý rằng không còn "đường hồi quy" nữa! Phương trình trên chỉ định một siêu phẳng : đó là mặt phẳng 2D nếu có hai dự đoán, siêu phẳng 3D nếu có ba dự đoán, v.v ... Vì vậy, giải pháp trên không hoạt động: chúng ta không thể lấy giải pháp TLS bằng cách chỉ sử dụng PC đầu tiên (đó là một dòng). Tuy nhiên, giải pháp có thể dễ dàng thu được thông qua PCA.

Như trước, PCA được thực hiện trên điểm. Điều này mang lại vector riêng trong các cột của . Đầu tiên vector riêng định nghĩa một chiều siêu phẳng mà chúng ta cần; eigenvector cuối cùng (số ) là trực giao với nó. Câu hỏi đặt ra là làm thế nào để chuyển đổi cơ sở được đưa ra bởi đầu tiên vector riêng vào hệ số. $(\mathbf x, y)$ $p+1$ $\mathbf V$ $p$ $p$ $\mathcal H$ $p+1$ $\mathbf v_{p+1}$ $\mathcal H$ $p$ $\boldsymbol \beta$

Quan sát rằng nếu chúng ta đặt cho tất cả và chỉ , sau đó , tức là vector nằm trong các siêu phẳng . Mặt khác, chúng ta biết rằng $x_i=0$ $i \ne k$ $x_k=1$ $\hat y=\beta_k$

(0, \dots, 1, \dots, β_{k}) \in H

$(0,\ldots, 1, \ldots, \beta_k) \in \mathcal H$

H

$\mathcal H$

là trực giao với nó. Tức là chấm sản phẩm của họ phải bằng không:

v_{p + 1} = (v_{1}, \dots, v_{p + 1}) ⊥ H

$\mathbf v_{p+1}=(v_1, \ldots, v_{p+1}) \:\bot\: \mathcal H$

v_{k} + β_{k} v_{p + 1} = 0 \Rightarrow β_{k} = - v_{k} / v_{p + 1} .

$v_k + \beta_k v_{p+1}=0 \Rightarrow \beta_k = -v_k/v_{p+1}.$

Trong Matlab:

 v = pca([X y]);    //# X is a centered n-times-p matrix, y is n-times-1 column vector
 beta = -v(1:end-1,end)/v(end,end);

Trong R:

 v <- prcomp(cbind(X,y))$rotation
 beta <- -v[-ncol(v),ncol(v)] / v[ncol(v),ncol(v)]

Một lần nữa, điều này sẽ mang lại độ dốc chính xác ngay cả khi và không được căn giữa (vì các chức năng PCA tích hợp sẽ tự động thực hiện định tâm). Để khôi phục lại đánh chặn, tính toán . $x$ $y$ $\beta_0 = \bar y - \bar {\mathbf x} \boldsymbol \beta$

$x$ $(x,y)$ $v^{(1)}_y/v^{(1)}_x=-v^{(2)}_x/v^{(2)}_y$

Giải pháp dạng đóng cho TLS

$\boldsymbol \beta$

$\mathbf X$ $\mathbf y$ $\mathbf v_{p+1}$ $[\mathbf X\: \mathbf y]$ $\sigma^2_{p+1}$ $-\mathbf v_{p+1}/v_{p+1} = (\boldsymbol \beta\:\: -1)^\top$

(\begin{matrix} X^{⊤} X & X^{⊤} y \\ y^{⊤} X & y^{⊤} y \end{matrix}) (\begin{matrix} β \\ - 1 \end{matrix}) = σ_{p + 1}^{2} (\begin{matrix} β \\ - 1 \end{matrix}),

$\left(\begin{array}{c}\mathbf X^\top \mathbf X & \mathbf X^\top \mathbf y\\ \mathbf y^\top \mathbf X & \mathbf y^\top \mathbf y\end{array}\right) \left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right) = \sigma^2_{p+1}\left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right),$

β_{T L S} = (X^{⊤} X - σ_{p + 1}^{2} I)^{- 1} X^{⊤} y,

$\boldsymbol \beta_\mathrm{TLS} = (\mathbf X^\top \mathbf X - \sigma^2_{p+1}\mathbf I)^{-1} \mathbf X^\top \mathbf y,$

β_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} y .

$\boldsymbol \beta_\mathrm{OLS} = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y.$

Hồi quy đa biến

Công thức tương tự có thể được khái quát cho trường hợp đa biến, nhưng ngay cả để xác định TLS đa biến làm gì, sẽ cần một số đại số. Xem Wikipedia trên TLS . Hồi quy OLS đa biến tương đương với một loạt các hồi quy OLS đơn biến cho mỗi biến phụ thuộc, nhưng trong trường hợp TLS thì không như vậy.

— amip nói phục hồi Monica
nguồn

Tôi không biết R, nhưng vẫn muốn cung cấp đoạn trích R để tham khảo trong tương lai. Có nhiều người ở đây thành thạo R. Xin vui lòng chỉnh sửa đoạn trích của tôi nếu cần! Cảm ơn bạn.

— amip nói rằng Phục hồi Monica

(0, \dots, 1, \dots, β_{k})

$(0,\ldots, 1, \ldots, \beta_k)$

x_{i}

$x_i$

x_{k} = 1

$x_k=1$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

y = β_{k} \cdot 1 = β_{k}

$y=\beta_k\cdot 1 = \beta_k$

(0, \dots, 1, \dots β_{k})

$(0,\ldots, 1, \ldots \beta_k)$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

— amip nói phục hồi Monica

Tôi dường như đã đọc sai phần đó nhưng bây giờ thì rõ ràng. Cảm ơn đã làm rõ quá.

— JohnK

Trong R, bạn có thể thích "eigen (cov (cbind (x, y))) $ vectơ" hơn "prcomp (cbind (x, y)) $ rotation" vì trước đây nhanh hơn nhiều đối với các vectơ lớn hơn.

— Thomas Browne

Dựa trên việc triển khai GNU Octave ngây thơ được tìm thấy ở đây , một cái gì đó như thế này có thể (hạt muối, đã muộn).

tls <- function(A, b){

  n <- ncol(A)
  C <- cbind(A, b)

  V <- svd(C)$v
  VAB <- V[1:n, (n+1):ncol(V)]
  VBB <- V[(n+1):nrow(V), (n+1):ncol(V)]
  return(-VAB/VBB)
}

— tiền mặt
nguồn

princompđang chạy phân tích thành phần chính thay vì hồi quy tổng bình phương tối thiểu. Theo như tôi biết thì không có chức năng R cũng như gói nào không có TLS; nhiều nhất là hồi quy Deming trong MethComp .
Tuy nhiên, xin vui lòng coi điều này như một gợi ý rằng rất có thể nó không xứng đáng.

Tôi nghĩ rằng Deming trong gói MethComp là TLS - sự khác biệt là gì?

— đánh dấu999

Bạn phải cho nó tỷ lệ lỗi trên x và y; TLS thuần túy tối ưu hóa điều này.