Giải pháp rõ ràng cho hồi quy tuyến tính với hai yếu tố dự đoán

Tôi có một số mẫu dữ liệu có dạng và . Tôi muốn đặt một mặt phẳng vào dữ liệu có sai số bình phương trung bình nhỏ nhất. $x,y$ $z=f(x,y)$

z = A x + B y + C

$z = Ax + By + C$

Tôi đã tìm thấy một "câu trả lời" trong phần 3 của tài liệu này , nhưng nó được để lại dưới dạng một số phương trình còn lại để giải. Tôi chỉ có khả năng giải các phương trình này, nhưng quá trình trở nên lộn xộn đến mức khả năng tôi mắc lỗi là khá cao. Chắc chắn ai đó đã viết ra giải pháp đầy đủ từ lâu ở đâu đó (có thể được gọi là "dạng đóng"), ở dạng

A = \dots,

$A=\ldots,$

B = \dots,

$B=\ldots,$

C = \dots .

$C=\ldots.$

EDIT: Có thể "dạng đóng" là cụm từ sai. Vì vậy, hãy để tôi được rõ ràng. Tôi muốn một giải pháp rõ ràng cho , và , và không phải là một giải pháp kết thúc bằng "Vì vậy, bây giờ nếu bạn có thể giải các phương trình này thì bạn có thể khám phá các giá trị của , và ". $A$ $B$ $C$ $A$ $B$ $C$

regression regression-coefficients

— Mick
nguồn

Chỉnh sửa của bạn không rõ ràng. Bạn đang hỏi về giải pháp dạng đóng cho hồi quy tuyến tính. Nó được đưa ra trong các chủ đề liên kết. Nếu bạn sử dụng công thức, bạn sẽ nhận được câu trả lời. Bạn cần gì nữa?

— Tim

Các câu trả lời trong các liên kết của bạn khiến tôi phải giải ba phương trình đồng thời để tìm A, B và C. Tôi lo ngại tôi sẽ phạm sai lầm.

— Mick

Thật vậy, có một giải pháp dạng đóng trong tài liệu tham khảo của bạn. Lùi lại một bước và nhìn vào những gì bạn đang thực sự làm. Bạn đang giải một hệ phương trình tuyến tính - thứ hạng của ma trận này sẽ bằng số lượng điểm dữ liệu bạn có. Tại sao bạn sẽ đi xa hơn vào thời điểm này? Bằng cách này, bạn không bị mắc kẹt với ba biến. Tất cả những gì bạn cần làm là giải hệ phương trình tuyến tính mà bạn có thể làm ở Wolfram Alpha nếu muốn. Giải pháp cho các phương trình này cũng là giải pháp dạng đóng mà bạn đang tìm kiếm nhưng luôn phụ thuộc vào số lượng tham số miễn phí trong mô hình này.

— pAt84

Chúng tôi có thể làm điều đó cho bạn và sẽ nhận được câu trả lời của bạn nhưng đây là điều bạn thực sự nên tự làm như một kinh nghiệm học tập. Tôi có thể thấy bạn đấu tranh với chính xác điều đó nhưng vượt qua cuộc đấu tranh này sẽ mang lại nhiều phần thưởng hơn là nếu chúng tôi chỉ đưa ra câu trả lời cho bạn.

— pAt84

Tôi tiếp tục chạy ra khỏi không gian trên bảng trắng 2ftx3ft của mình ... đúng theo nghĩa đen. Ngay cả khi tôi giải quyết nó, tôi sẽ không tự tin rằng mình đã không phạm sai lầm trên đường đi.

— Mick

Câu trả lời:

Ở những nơi khác trên trang web này, các giải pháp rõ ràng cho hồi quy bình phương nhỏ nhất bình thường

E (z_{i}) = A x_{i} + B y_{i} + C

$\mathbb{E}(z_i) = A x_i + B y_i + C$

có sẵn ở dạng ma trận như

\begin{matrix} (1) & (C, A, B)^{'} = (X^{'} X)^{- 1} X^{'} z \end{matrix}

$(C,A,B)^\prime = (X^\prime X)^{-1} X^\prime z\tag{1}$

Trong đó là "ma trận mô hình" $X$

X = (\begin{matrix} 1 & x_{1} & y_{1} \\ 1 & x_{2} & y_{2} \\ ⋮ & ⋮ & ⋮ \\ 1 & x_{n} & y_{n} \end{matrix})

$X = \pmatrix{1 & x_1 & y_1 \\ 1 & x_2 & y_2 \\ \vdots & \vdots & \vdots \\ 1 & x_n & y_n}$

và là vectơ đáp ứng $z$

z = (z_{1}, z_{2}, \dots, z_{n})^{'} .

$z = (z_1, z_2, \ldots, z_n)^\prime.$

Đó là một câu trả lời hoàn toàn tốt, rõ ràng, có thể tính toán. Nhưng có lẽ có một số hiểu biết bổ sung có thể được rút ra khỏi nó bằng cách kiểm tra các hệ số. Điều này có thể đạt được bằng cách chọn các đơn vị thích hợp để thể hiện các biến.

Các đơn vị tốt nhất cho mục đích này tập trung vào từng biến ở mức trung bình của nó và sử dụng độ lệch chuẩn của nó làm đơn vị đo lường. Một cách rõ ràng, hãy để ba phương tiện là và và ba độ lệch chuẩn là và . (Hóa ra bạn không chia cho hay khi tính toán độ lệch chuẩn. Chỉ cần đảm bảo bạn sử dụng quy ước nhất quán khi bạn tính bất kỳ giây thứ hai nào của dữ liệu.) Các giá trị của các biến trong các đơn vị mới này. đo lường là $m_x, m_y,$ $m_z$ $s_x, s_y,$ $s_z$ $n$ $n-1$

ξ_{i} = \frac{x_{i} - m_{x}}{s_{x}}, η_{i} = \frac{y_{i} - m_{y}}{s_{y}}, ζ_{i} = \frac{z_{i} - m_{z}}{s_{z}} .

$\xi_i = \frac{x_i - m_x}{s_x},\ \eta_i = \frac{y_i - m_y}{s_y},\ \zeta_i = \frac{z_i - m_z}{s_z}.$

Quá trình này được gọi là chuẩn hóa dữ liệu. Các biến , và là các phiên bản được tiêu chuẩn hóa của các biến ban đầu , và . $\xi$ $\eta$ $\zeta$ $x$ $y$ $z$

Những mối quan hệ này là không thể đảo ngược:

x_{i} = s_{x} ξ_{i} + m_{x}, y_{i} = s_{y} η_{i} + m_{y}, z_{i} = s_{z} ζ_{i} + m_{z} .

$x_i = s_x \xi_i + m_x,\ y_i = s_y \eta_i + m_y,\ z_i = s_z \zeta_i + m_z.$

Cắm những thứ này vào mối quan hệ xác định

E (z_{i}) = C + A x_{i} + B y_{i}

$\mathbb{E}(z_i) = C + Ax_i + By_i$

và đơn giản hóa sản lượng

E (s_{z} ζ_{i} + m_{z}) = C + A (s_{x} ξ_{i} + m_{x}) + B (s_{y} η_{i} + m_{y}) .

$\mathbb{E}(s_z \zeta_i + m_z) = C + A(s_x \xi_i + m_x) + B(s_y \eta_i + m_y).$

Giải quyết kỳ vọng của biến phụ thuộc mang lại $\zeta_i$

E (ζ_{i}) = (\frac{C + A m_{x} + B m_{y} - m_{z}}{s_{z}}) + (\frac{A s_{x}}{s_{z}}) ξ_{i} + (\frac{B s_{y}}{s_{z}}) η_{i} .

$\mathbb{E}(\zeta_i) = \left(\frac{C + Am_x + Bm_y - m_z}{s_z}\right) + \left(\frac{A s_x}{s_z}\right) \xi_i + \left(\frac{B s_y}{s_z}\right) \eta_i.$

Nếu chúng ta viết các hệ số này lần lượt là , thì chúng ta có thể khôi phục bằng cách so sánh và giải. Đối với hồ sơ này cho $\beta_0, \beta_1, \beta_2$ $A, B, C$

\begin{matrix} (2) & A = \frac{s_{z} β_{1}}{s_{x}}, B = \frac{s_{z} β_{2}}{s_{y}}, and C = s_{z} β_{0} + m_{z} - A m_{x} - B m_{y} . \end{matrix}

$A = \frac{s_z \beta_1}{s_x},\ B = \frac{s_z \beta_2}{s_y},\text{ and }C = s_z \beta_0 + m_z - A m_x - B m_y.\tag{2}$

Điểm của điều này trở nên rõ ràng khi chúng ta xem xét ma trận mô hình mới

Ξ = (\begin{matrix} 1 & ξ_{1} & η_{i} \\ 1 & ξ_{2} & η_{2} \\ ⋮ & ⋮ & ⋮ \\ 1 & ξ_{n} & η_{n} \end{matrix})

$\Xi = \pmatrix{1 & \xi_1 & \eta_i \\ 1 & \xi_2 & \eta_2 \\ \vdots & \vdots & \vdots \\ 1 & \xi_n & \eta_n}$

và ma trận phản hồi mới , bởi vì bây giờ $\zeta = (\zeta_1, \zeta_2, \ldots, \zeta_n)$

Ξ^{'} Ξ = (\begin{matrix} n & 0 & 0 \\ 0 & n & n ρ \\ 0 & n ρ & n \end{matrix})

$\Xi^\prime \Xi = \pmatrix{n & 0 & 0 \\ 0 & n & n\rho \\ 0 & n\rho & n}$

và

Ξ^{'} ζ = (0, n τ, n υ)^{'}

$\Xi^\prime \zeta = (0, n\tau, n\upsilon)^\prime$

Trong đó là hệ số tương quan , là hệ số tương quan và là hệ số tương quan . $\rho$ $\frac{1}{n}\sum_{i=1}^n \xi_i \eta_i$ $\tau$ $\frac{1}{n}\sum_{i=1}^n \xi_i \zeta_i$ $\upsilon$ $\frac{1}{n}\sum_{i=1}^n \eta_i \zeta_i$

Để giải các phương trình bình thường chúng ta có thể chia cả hai vế cho , cho $(1)$ $n$

(\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & ρ \\ 0 & ρ & 1 \end{matrix}) (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \end{matrix}) = (\begin{matrix} 0 \\ τ \\ υ \end{matrix}) .

$\pmatrix{1 & 0 & 0 \\ 0 & 1 & \rho \\ 0 & \rho & 1}\pmatrix{\beta_0 \\ \beta_1 \\ \beta_2} = \pmatrix{0 \\ \tau \\ \upsilon} .$

Những gì ban đầu trông giống như một công thức ma trận ghê gớm đã được giảm xuống thành một bộ ba phương trình thực sự đồng thời. Cung cấp , giải pháp của nó dễ dàng được tìm thấy $|\rho| \lt 1$

(\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \end{matrix}) = \frac{1}{1 - ρ^{2}} (\begin{matrix} 0 \\ τ - ρ υ \\ υ - ρ τ \end{matrix}) .

$\pmatrix{\hat\beta_0 \\ \hat\beta_1 \\ \hat\beta_2} = \frac{1}{1-\rho^2}\pmatrix{0 \\ \tau-\rho\upsilon \\ \upsilon-\rho\tau}.$

Cắm này vào các hệ số trong sản xuất dự toán và . $(2)$ $\hat A, \hat B,$ $\hat C$

Trong thực tế, thậm chí nhiều hơn đã đạt được:

Bây giờ rõ ràng là tại sao các trường hợp có vấn đề: họ đưa ra một điều kiện chia cho 0 trong giải pháp. $|\rho|=1$
Rõ ràng là làm thế nào để xác định xem một giải pháp có tồn tại khivà làm thế nào để có được nó. Nó sẽ tồn tại khi phương trình bình thường thứ hai và thứ ba trong là dư thừa và nó sẽ được lấy chỉ bằng cách bỏ qua một trong các biến và ở vị trí đầu tiên. $|\rho=1|$ $\Xi$ $x$ $y$
Chúng ta có thể rút ra một số cái nhìn sâu sắc về giải pháp nói chung. Chẳng hạn, từ trong mọi trường hợp, chúng tôi có thể kết luận rằng mặt phẳng được trang bị phải đi qua điểm trung bình . $\hat\beta_0=0$ $(m_x, m_y, m_z)$
Bây giờ rõ ràng là giải pháp có thể được tìm thấy trong hai thời điểm đầu tiên của bộ dữ liệu trivariate . Điều này làm sáng tỏ thêm về thực tế rằng các ước tính hệ số có thể được tìm thấy từ các phương tiện và ma trận hiệp phương sai một mình . $(x, y, z)$
Bên cạnh đó, phương trình cho thấy các phương tiện cần thiết chỉ để ước tính hạn chặn . Ước tính của hai sườn và chỉ cần khoảnh khắc thứ hai. $(2)$ $C$ $A$ $B$
Khi các biến hồi quy không tương quan, và giải pháp là chặn là 0 và độ dốc là các hệ số tương quan giữa phản hồi và biến hồi quy và khi chúng ta chuẩn hóa dữ liệu. Điều này vừa dễ nhớ vừa cung cấp cái nhìn sâu sắc về cách các hệ số hồi quy có liên quan đến các hệ số tương quan. $\rho=0$ $z$ $x$ $y$

Đặt tất cả những thứ này lại với nhau, chúng ta thấy rằng (ngoại trừ trong các trường hợp suy biến ) các ước tính có thể được viết $|\rho|=1$

\begin{aligned} \hat{A} & = \frac{τ - ρ υ}{1 - ρ^{2}} \frac{s_{z}}{s_{x}} \\ \hat{B} & = \frac{υ - ρ τ}{1 - ρ^{2}} \frac{s_{z}}{s_{y}} \\ \hat{C} & = m_{z} - m_{x} \hat{A} - m_{y} \hat{B} . \end{aligned}

$\eqalign{ \hat A &= \frac{\tau - \rho\upsilon}{1-\rho^2} \frac{s_z}{s_x} \\ \hat B &= \frac{\upsilon - \rho\tau}{1-\rho^2} \frac{s_z}{s_y} \\ \hat C &= m_z -m_x \hat A - m_y \hat B. }$

Trong các công thức này, là phương tiện mẫu, là độ lệch chuẩn mẫu và các chữ cái Hy Lạp và đại diện cho ba hệ số tương quan (giữa và , và , và và , tương ứng). $m_{*}$ $s_{*}$ $\rho, \tau,$ $\upsilon$ $x$ $y$ $x$ $z$ $y$ $z$

Xin lưu ý rằng các công thức này không phải là cách tốt nhất để thực hiện các phép tính. Tất cả đều liên quan đến việc trừ các đại lượng có thể có kích thước tương đương, chẳng hạn như , và . Phép trừ như vậy liên quan đến mất độ chính xác. Công thức ma trận cho phép các nhà phân tích số có được các giải pháp ổn định hơn, bảo toàn độ chính xác nhất có thể. Đây là lý do tại sao mọi người hiếm khi có bất kỳ quan tâm đến các công thức kỳ hạn. Một lý do khác ít được quan tâm là khi số lượng hồi quy tăng lên, độ phức tạp của các công thức tăng theo cấp số nhân, nhanh chóng trở nên quá khó sử dụng. $\tau-\rho\upsilon$ $\upsilon-\rho\tau$ $m_z - (-m_x \hat A - m_y \hat B)$

Để chứng minh thêm về tính chính xác của các công thức này, chúng tôi có thể so sánh câu trả lời của họ với câu trả lời của người giải bình phương nhỏ nhất, lmhàm trong R.

#
# Generate trivariate data.
#
library(MASS)
set.seed(17)
n <- 20
mu <- 1:3
Sigma <- matrix(1, 3, 3)
Sigma[lower.tri(Sigma)] <- Sigma[upper.tri(Sigma)] <- c(.8, .5, .6)
xyz <- data.frame(mvrnorm(n, mu, Sigma))
names(xyz) <- c("x", "y", "z")
#
# Obtain the least squares coefficients.
#
beta.hat <- coef(lm(z ~ x + y, xyz))
#
# Compute the first two moments via `colMeans` and `cov`.
#
m <- colMeans(xyz)
sigma <- cov(xyz)
s <- sqrt(diag(sigma))
rho <- t(t(sigma/s)/s); rho <- as.vector(rho[lower.tri(rho)])
#
# Here are the least squares coefficient estimates in terms of the moments.
#
A.hat <- (rho[2] - rho[1]*rho[3]) / (1 - rho[1]^2) * s[3] / s[1]
B.hat <- (rho[3] - rho[1]*rho[2]) / (1 - rho[1]^2) * s[3] / s[2]
C.hat <- m[3] - m[1]*A.hat - m[2]*B.hat
#
# Compare the two solutions.
#
rbind(beta.hat, formulae=c(C.hat, A.hat, B.hat))

Đầu ra thể hiện hai hàng ước tính giống hệt nhau, như mong đợi:

         (Intercept)         x        y
beta.hat    1.522571 0.3013662 0.403636
formulae    1.522571 0.3013662 0.403636

— whuber
nguồn

Tìm thấy rồi...

\begin{aligned} A & = \frac{(\bar{z x} - \bar{z} \bar{x}) (\bar{y^{2}} - {\bar{y}}^{2}) - (\bar{z y} - \bar{z} \bar{y}) (\bar{x y} - \bar{x} \bar{y})}{(\bar{x^{2}} - {\bar{x}}^{2}) (\bar{y^{2}} - {\bar{y}}^{2}) - (\bar{x y} - \bar{x} \bar{y})^{2}} \\ B & = \frac{(\bar{x^{2}} - {\bar{x}}^{2}) (\bar{z y} - \bar{z} \bar{y}) - (\bar{z x} - \bar{z} \bar{x}) (\bar{x y} - \bar{x} \bar{y})}{(\bar{x^{2}} - {\bar{x}}^{2}) (\bar{y^{2}} - {\bar{y}}^{2}) - (\bar{x y} - \bar{x} \bar{y})^{2}} \\ C & = \bar{z} - A \bar{x} - B \bar{y} . \end{aligned}

$\begin{align}A&=\frac{(\overline{zx}-\bar z\bar x)(\overline{y^2}-\bar y^2)-(\overline{zy}-\bar z\bar y)(\overline{xy}-\bar x\bar y)}{(\overline{x^2}-\bar x^2)(\overline{y^2}-\bar y^2)-(\overline{xy}-\bar x\bar y)^2}\\ B&=\frac{(\overline{x^2}-\bar x^2)(\overline{zy}-\bar z\bar y)-(\overline{zx}-\bar z\bar x)(\overline{xy}-\bar x\bar y)}{(\overline{x^2}-\bar x^2)(\overline{y^2}-\bar y^2)-(\overline{xy}-\bar x\bar y)^2}\\ C&=\bar z-A\bar x-B\bar y.\end{align}$

— Mick
nguồn

Tôi đã đưa ra câu trả lời thứ hai vì ma trận sẽ không phù hợp với một nhận xét.

— pAt84

@MarcoB thiết lập một câu trả lời tại mathematica.stackexchange.com/questions/107426 rằng vẻ bề ngoài tương tự, vì vậy tôi nghĩ rằng chúng tôi tốt ở đây.

— barrycarter 16/2/2016

Nhưng bạn nên hiểu nó! Hãy xem lại ma trận thiết kế của bạn (phương trình đầu tiên trang 4). Các phần tử được viết là (x, y).

Phần tử (3,1) = Phần tử (1,3)

Phần tử (2,1) = Phần tử (1,2)

Phần tử (3,2) = Phần tử (2,3)

và phần tử (3,3) là m.

Ma trận thiết kế thông thường của bạn phân giải thành (tất cả các khoản tiền được thay thế) Điều này thực sự giúp giải quyết mach dễ dàng hơn, đặc biệt nếu bạn nghĩ thêm một vài bước phía trước. Trong trường hợp bạn đã làm điều đó, bravo! Trong trường hợp bạn chưa đi, bạn đã không nhìn chằm chằm vào ma trận thiết kế đủ lâu.

(\begin{matrix} K & L & M \\ L & R & S \\ M & S & m \end{matrix})

$\left( {\begin{array}{*{20}{c}} K&L&M\\ L&R&S\\ M&S&m \end{array}} \right)$

— p84t84
nguồn