Thuật toán nào được sử dụng trong hồi quy tuyến tính?

Tôi thường nghe về "bình phương tối thiểu bình thường". Đó có phải là thuật toán được sử dụng rộng rãi nhất được sử dụng cho hồi quy tuyến tính? Có những lý do để sử dụng một cái khác nhau?

Về câu hỏi trong tiêu đề, về thuật toán được sử dụng là gì:

Trong phối cảnh đại số tuyến tính, thuật toán hồi quy tuyến tính là cách để giải hệ phương trình tuyến tính với nhiều phương trình hơn ẩn số. Trong hầu hết các trường hợp không có giải pháp cho vấn đề này. Và điều này là do vectơ b không thuộc về không gian cột của A , C ( A ) .$\mathbf{A}x=b$$b$$\mathbf{A}$$C(\mathbf{A})$

best straight line$e=\mathbf{A}x-b$$\lVert e \rVert^2$$b\in C(\mathbf{A})$

Chiếu (trực giao) vectơ đến điểm gần nhất trong không gian cột của cung cấp cho vectơ giải quyết hệ thống (các thành phần của nó nằm trên đường thẳng tốt nhất) với sai số tối thiểu.Một b $b$$\mathbf{A}$$b^*$

$\mathbf{A}^T\mathbf{A}\hat{x}=\mathbf{A}^Tb \Rightarrow \hat{x}=(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^Tb$

và vectơ chiếu được cho bởi:$b^*$

$b^*=\mathbf{A}\hat{x}=\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^Tb$

Có lẽ phương pháp bình phương tối thiểu không chỉ được sử dụng bởi vì nó squaring bù đắp quá mức cho các ngoại lệ.

Hãy để tôi đưa ra một ví dụ đơn giản trong R, giải quyết vấn đề hồi quy bằng thuật toán này:

library(fBasics)

reg.data <- read.table(textConnection("
   b      x
  12      0
  10      1
   8      2
  11      3
   6      4
   7      5
   2      6
   3      7
   3      8 "), header = T)

attach(reg.data)

A <- model.matrix(b~x)

# intercept and slope
inv(t(A) %*% A) %*% t(A) %*% b

# fitted values - the projected vector b in the C(A)
A %*% inv(t(A) %*%A ) %*% t(A) %*% b

# The projection is easier if the orthogonal matrix Q is used, 
# because t(Q)%*%Q = I
Q <- qr.Q(qr(A))
R <- qr.R(qr(A))

# intercept and slope 
best.line <- inv(R) %*% t(Q) %*% b

# fitted values 
Q %*% t(Q) %*% b

plot(x,b,pch=16)
abline(best.line[1],best.line[2])

Để trả lời thư của câu hỏi, "bình phương tối thiểu bình thường" không phải là một thuật toán; đúng hơn nó là một loại vấn đề trong đại số tuyến tính tính toán, trong đó hồi quy tuyến tính là một ví dụ. Thông thường, người ta có dữ liệu và một hàm dự kiến ​​("mô hình") để khớp với dữ liệu theo mẫu . Các được gọi là "hàm cơ sở" và có thể là bất cứ điều gì từ monomials để hàm lượng giác (ví dụ , ) và hàm mũ ( ). Thuật ngữ "tuyến tính" trong "hồi quy tuyến tính" ở đây không đề cập đến các hàm cơ bản,$\{(x_1,y_1),\dots,(x_m,y_m)\}$f j ( x ) x j sin ( j x ) cos ( j x ) exp ( - j x ) c j c j c c j f j ( x $f(x)=c_1 f_1(x)+\dots+c_n f_n(x)$$f_j(x)$$x^j$$\sin(jx)$$\cos(jx)$$\exp(-jx)$$c_j$, trong đó việc lấy đạo hàm riêng của mô hình đối với bất kỳ cung cấp cho bạn hệ số nhân ; đó là, .$c_j$$c_j$$f_j(x)$

Giờ đây, một ma trận hình chữ nhật ("ma trận thiết kế") mà (thường) có nhiều hàng hơn các cột và mỗi mục có dạng , là chỉ số hàng và là chỉ số cột. OLS hiện là nhiệm vụ tìm vectơ giúp giảm thiểu số lượng (trong ký hiệu ma trận, ; ở đây, thường được gọi là "vectơ phản hồi").$m\times n$$\mathbf A$$f_j(x_i)$$i$$j$$\mathbf c=(c_1\,\dots\,c_n)^\top$$\sqrt{\sum\limits_{j=1}^{m}\left(y_j-f(x_j)\right)^2}$$\|\mathbf{A}\mathbf{c}-\mathbf{y}\|_2$$\mathbf{y}=(y_1\,\dots\,y_m)^\top$

Có ít nhất ba phương pháp được sử dụng trong thực tế để tính toán các giải pháp bình phương nhỏ nhất: phương trình bình thường, phân tách QR và phân tách giá trị số ít. Tóm lại, chúng là những cách để biến ma trận thành một sản phẩm của ma trận dễ dàng thao tác để giải cho vectơ .$\mathbf{A}$$\mathbf{c}$

George đã chỉ ra phương pháp của phương trình bình thường trong câu trả lời của mình; người ta chỉ giải được tập phương trình tuyến tính$n\times n$

$\mathbf{A}^\top\mathbf{A}\mathbf{c}=\mathbf{A}^\top\mathbf{y}$

cho . Do thực tế là ma trận là đối xứng dương (bán) xác định, phương thức thông thường được sử dụng cho điều này là phân tách Cholesky, yếu tố thành dạng , với một ma trận tam giác thấp hơn. Vấn đề với cách tiếp cận này, mặc dù có lợi thế là có thể nén ma trận thiết kế thành ma trận nhỏ hơn nhiều , là hoạt động này dễ bị mất các số liệu quan trọng (điều này có gì đó để làm với "số điều kiện" của ma trận thiết kế).A ⊤ A A ⊤ A G G ⊤ G m × n n × $\mathbf{c}$$\mathbf{A}^\top\mathbf{A}$$\mathbf{A}^\top\mathbf{A}$$\mathbf{G}\mathbf{G}^\top$$\mathbf{G}$$m\times n$$n\times n$

Một cách tốt hơn một chút là phân tách QR, hoạt động trực tiếp với ma trận thiết kế. Nó xác định là , trong đó là một ma trận trực giao (nhân một ma trận như vậy với ma trận chuyển vị của nó sẽ tạo ra ma trận nhận dạng) và là tam giác trên. sau đó được tính là . Vì những lý do tôi sẽ không tham gia (chỉ cần xem bất kỳ văn bản đại số tuyến tính nào, như thế này ), điều này có các thuộc tính số tốt hơn so với phương trình của phương trình bình thường.A = Q R Q R c R - 1 Q ⊤ $\mathbf{A}$$\mathbf{A}=\mathbf{Q}\mathbf{R}$$\mathbf{Q}$$\mathbf{R}$$\mathbf{c}$$\mathbf{R}^{-1}\mathbf{Q}^\top\mathbf{y}$

Một biến thể trong việc sử dụng phân tách QR là phương pháp của phương trình thông thường . Tóm lại, nếu ai đó có phân tách , hệ thống tuyến tính cần giải quyết có dạng$\mathbf{A}=\mathbf{Q}\mathbf{R}$

Thực tế, người ta đang sử dụng phân tách QR để tạo thành tam giác Cholesky của trong phương pháp này. Điều này hữu ích cho trường hợp thưa thớt và việc lưu trữ và / hoặc hình thành rõ ràng của (hoặc phiên bản bao thanh toán của nó) là không mong muốn hoặc không thực tế.Một $\mathbf{A}^\top\mathbf{A}$$\mathbf{A}$$\mathbf{Q}$

Cuối cùng, cách giải quyết OLS đắt nhất, nhưng an toàn nhất là phân rã giá trị số ít (SVD). Lần này, được xác định là , trong đó và đều trực giao vàMột = U Σ V ⊤ U V $\mathbf{A}$$\mathbf{A}=\mathbf{U}\mathbf \Sigma\mathbf{V}^\top$$\mathbf{U}$$\mathbf{V}$$\mathbf{\Sigma}$là một ma trận đường chéo, có các mục chéo được gọi là "giá trị số ít". Sức mạnh của sự phân rã này nằm ở khả năng chẩn đoán được cấp cho bạn bởi các giá trị số ít, ở chỗ nếu người ta nhìn thấy một hoặc nhiều giá trị số ít, thì có khả năng bạn đã chọn một bộ cơ sở không hoàn toàn độc lập, do đó cần phải cải tổ mô hình của bạn. ("Số điều kiện" được đề cập trước đó trên thực tế có liên quan đến tỷ lệ của giá trị số ít nhất so với giá trị nhỏ nhất; tỷ lệ của khóa học trở nên rất lớn (và do đó ma trận bị điều hòa) nếu giá trị số ít nhất là "nhỏ" .)

Đây chỉ đơn thuần là một bản phác thảo của ba thuật toán này; bất kỳ cuốn sách hay về thống kê tính toán và đại số tuyến tính số sẽ có thể cung cấp cho bạn nhiều chi tiết liên quan hơn.

Liên kết wiki: Phương pháp ước tính cho hồi quy tuyến tính đưa ra một danh sách khá đầy đủ các phương pháp ước tính bao gồm OLS và bối cảnh sử dụng các phương pháp ước tính thay thế.

Rất dễ bị nhầm lẫn giữa các định nghĩa và thuật ngữ. Cả hai thuật ngữ được sử dụng, đôi khi thay thế cho nhau. Tra cứu nhanh trên Wikipedia sẽ giúp:

• bình phương nhỏ nhất
• hồi quy

Bình thường tối thiểu bình phương (OLS) là một phương pháp được sử dụng để phù hợp với mô hình hồi quy tuyến tính. Do tính nhất quán và hiệu quả rõ ràng (theo các giả định bổ sung) của phương pháp OLS, đây là phương pháp chủ yếu. Xem các bài viết để dẫn thêm.

Tôi có xu hướng nghĩ về 'bình phương tối thiểu' là một tiêu chí để xác định đường hồi quy phù hợp nhất (nghĩa là làm cho tổng 'bình phương' dư 'ít nhất') và 'thuật toán' trong ngữ cảnh này là tập hợp các bước được sử dụng để xác định các hệ số hồi quy thỏa mãn tiêu chí đó. Sự khác biệt này cho thấy rằng có thể có các thuật toán khác nhau sẽ đáp ứng cùng một tiêu chí.

Tôi tò mò muốn biết liệu những người khác có phân biệt điều này không và họ sử dụng thuật ngữ nào.

Một cuốn sách cũ, nhưng một cuốn tôi thấy mình liên tục chuyển sang, là

Lawson, CL và Hanson, Các vấn đề về bình phương tối thiểu của RJ , Prentice-Hall, 1974.

Nó chứa một cuộc thảo luận chi tiết và rất dễ đọc về một số thuật toán mà các câu trả lời trước đã đề cập. Bạn có lẽ sẽ muốn nhìn nó.