Sự khác biệt giữa các kỹ thuật nghịch đảo vuông và giả nhỏ nhất cho hồi quy tuyến tính là gì?

Tôi đang tự hỏi sự khác biệt giữa chúng. Về cơ bản, họ làm cùng một công việc khi kết thúc việc tìm các hệ số của các tham số, nhưng chúng trông chỉ khác nhau theo cách chúng ta tìm thấy các hệ số. Đối với tôi, phương pháp Least vuông dường như sử dụng sự khác biệt và dạng ma trận để tìm các hệ số và Pseudo-nghịch đảo dường như chỉ sử dụng thao tác ma trận, nhưng làm thế nào tôi có thể nói sự khác biệt giữa chúng? Hoặc không có sự khác biệt nào cả?

Trong bối cảnh hồi quy tuyến tính, 'bình phương tối thiểu' có nghĩa là chúng tôi muốn tìm các hệ số giảm thiểu sai số bình phương. Nó không chỉ định cách thực hiện tối thiểu hóa này và có nhiều khả năng. Nhân vectơ phản hồi với giả hành Moore-Penrose của ma trận hồi quy là một cách để làm điều đó, và do đó là một cách tiếp cận với hồi quy tuyến tính bình phương nhỏ nhất (như những cách khác đã chỉ ra).

Sự khác biệt giữa các phương thức có thể phát sinh khi ma trận hồi quy không có thứ hạng đầy đủ. Điều này có thể xảy ra, ví dụ, khi số lượng biến vượt quá số điểm dữ liệu. Trong trường hợp này, có vô số lựa chọn về hệ số tối ưu. Các phương thức khác nhau về cách chúng chọn một giải pháp trong tập hợp vô hạn này. Đặc điểm phân biệt của phương pháp giả trong tình huống này là nó trả về giải pháp với định mức tối thiểu .$\ell_2$

Nó phụ thuộc vào, ý của bạn là "kỹ thuật phân biệt". Có hai phương pháp mà tôi có thể hiểu bằng cách đó:

• Sử dụng sự khác biệt để lấy độ dốc, sau đó thực hiện giảm độ dốc trên bề mặt lỗi. Tuy nhiên, điều này sẽ khá bất thường đối với hồi quy tuyến tính (nhưng không phải đối với các loại hồi quy khác).

• Sử dụng sự khác biệt để lấy ra độ dốc, sau đó sử dụng độ phân giải đó để xác định mức tối thiểu bằng cách đặt độ dốc về 0.

Phương pháp đầu tiên rất khác với nghịch đảo giả. Thứ hai là không. Nếu bạn thực hiện phân biệt và giải phương trình kết quả từ việc đặt độ dốc về 0, bạn sẽ nhận được chính xác giả nghịch đảo như một giải pháp chung.

Nếu bạn nghĩ về điều này, nó có rất nhiều ý nghĩa. Nếu các kỹ thuật khác nhau sẽ dẫn đến các hệ số khác nhau, thật khó để nói, cái nào là chính xác. Nếu chúng tạo ra các hệ số tương tự, thì đó cũng là trường hợp, bạn có thể rút ra các phương trình được sử dụng cho một phương thức từ phương thức kia.

Như đã được chỉ ra trong các câu trả lời khác, nhân với giả ngẫu nhiên là một trong những cách để có được một giải pháp bình phương tối thiểu.

Nó rất dễ dàng để xem lý do tại sao. Giả sử bạn có điểm trong không gian chiều: $k$$n-$

$$X = \begin{bmatrix} 1 & x_{11} & x_{12} & x_{13} & \dots & x_{1n} \\ 1 & x_{21} & x_{22} & x_{23} & \dots & x_{2n} \\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{k1} & x_{k2} & x_{k3} & \dots & x_{kn} \end{bmatrix}$$

Để mỗi điểm tương ứng có một giá trị trong : $Y$

$$Y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_k \end{bmatrix}$$

Bạn muốn tìm một tập các trọng số

$$W = \begin{bmatrix} w_1 \\ w_2 \\ \vdots \\ w_n \end{bmatrix}$$

sao cho sai số bình phương giữa và được giảm thiểu, đó là giải pháp bình phương tối thiểu: , trong đó (bạn có thể dễ dàng thấy rằng là tổng các lỗi bình phương).$XW$$Y$$min_Wf(W)$$f(W) = (Y-XW)^T(Y-XW)$$f(W)$

Chúng tôi làm điều đó bằng cách tìm đạo hàm của bằng và đặt nó thành :$f(W)$$W$$0$

$$\frac{\delta f}{\delta W} = \frac{\delta (Y-XW)^T(Y-XW)}{\delta W} = \frac{\delta (Y^TY - W^TX^TY - Y^TXW + W^TX^TXW)}{\delta W} = \frac{\delta (Y^TY - 2Y^TXW - Y^TXW + W^TX^TXW)}{\delta W} = \frac{\delta Y^TY - 2Y^TXW + W^TX^TXW}{\delta W} = -2Y^TX + 2W^TX^TX$$

Đặt đạo hàm thành :$0$

$$2W^TX^TX = 2Y^TX$$ $$X^TXW = X^TY$$ $$(X^TX)^{-1}X^TXW = (X^TX)^{-1}X^TY$$ $$W = (X^TX)^{-1}X^TY$$

Vì vậy, theo cách này chúng ta có thể rút ra ma trận nghịch đảo giả như là giải pháp cho vấn đề bình phương nhỏ nhất.

Giải pháp nghịch đảo giả dựa trên sai số bình phương tối thiểu, như Łukasz Grad đã chỉ ra. Đó là, bạn thực sự đang giải quyết vấn đề tối thiểu hóa,

$E(W) =\frac{1}{2}\sum \left(y^{(i)}-W ^Tx^{(i)}\right)^2$

bằng cách phân biệt các lỗi wrt . Sau đó, bạn nhận được giải pháp: . (Lưu ý giả nghịch đảo không nghịch đảo. Vì vậy, bạn không thể hiểu giải pháp bằng , có vẻ như là một giải pháp từ trực tiếp với thao tác ma trận. Đây là một chủ đề khác để tìm giả - ngược lại.)$W$$W = \left(X^TX\right)^{-1}X^TY$$X^{-1}Y$$XW = Y$

Nếu bạn đang yêu cầu về giải pháp hiệp phương sai dựa trên , nó có thể được hiểu như là một giải pháp trực tiếp dựa trên mối quan hệ tuyến tính giữa và . Trên thực tế, giải pháp này cũng được suy luận nghiêm ngặt từ sai số bình phương tối thiểu và sự khác biệt là không quan trọng so với giả nghịch đảo. Đây vẫn là giải pháp giả ngược nhưng biết rằng dòng của bạn chắc chắn sẽ đi qua điểm của các giá trị trung bình . Vì vậy, các biện pháp lỗi có thể được viết lại như,$W = \frac{cov(X, Y)}{var(X)}$$X$$Y$$(\bar{X},\bar{Y})$

$E(W) =\frac{1}{2}\sum \left((y^{(i)}-\bar{y})-W ^T(x^{(i)}-\bar{x})\right)^2$

Khi bạn sử dụng để đại diện cho và để đại diện cho , giải pháp của bạn với nghịch đảo giả giống như giải pháp với hiệp phương sai. Sự khác biệt là, bây giờ bạn phải tính toán chặn riêng, bởi vì, bằng cách trừ các giá trị trung bình của và , bạn hầu như tập trung vào tọa độ tại và dòng của bạn vượt qua nó, do đó đánh chặn bằng không. Bạn đã ánh xạ hệ tọa độ mới trở lại hệ tọa độ ban đầu bằng cách tính toán chặn với . $x-\bar{x}$$x$$y-\bar{y}$$y$$x$$y$$(\bar{x}, \bar{y})$$w_{0} = \bar{y} -W^{T}\bar{x}$