Ảnh hưởng của phản ứng chuyển đổi và biến giải thích trong hồi quy tuyến tính đơn giản

48

Hãy nói rằng có tồn tại một số mối quan hệ "true" giữa $y$ và $x$ như vậy mà $y = ax + b + \epsilon$ , nơi $a$ và $b$ là hằng số và $\epsilon$ là iid tiếng ồn bình thường. Khi tôi tạo ngẫu nhiên dữ liệu từ mã R đó: x <- 1:100; y <- ax + b + rnorm(length(x))và sau đó khớp với một mô hình như thế y ~ x, rõ ràng tôi nhận được các ước tính hợp lý tốt cho $a$ và $b$ .

(x ~ y)Tuy nhiên, nếu tôi chuyển đổi vai trò của các biến như trong , sau đó viết lại kết quả cho $y$ thành hàm của $x$ , thì độ dốc kết quả luôn dốc hơn (âm hơn hoặc dương hơn) so với ước tính của y ~ xhồi quy. Tôi đang cố gắng để hiểu chính xác lý do tại sao và sẽ đánh giá cao nó nếu bất cứ ai có thể cho tôi một trực giác về những gì đang xảy ra ở đó.

regression

— Greg Aponte
nguồn

1

Điều đó nói chung không đúng. Có lẽ bạn chỉ nhìn thấy điều đó trong dữ liệu của bạn. Dán mã này: y = rnorm (10); x = rnorm (10); lm (y ~ x); lm (x ~ y); vào R nhiều lần và bạn sẽ thấy nó đi cả hai chiều.

— Macro

Điều đó hơi khác so với những gì tôi đã mô tả. Trong ví dụ của bạn, y hoàn toàn không phải là một hàm của x, vì vậy thực sự không có bất kỳ "độ dốc" nào ('a' trong ví dụ của tôi).

— Greg Aponte

lm (y ~ x) phù hợp với mô hình

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$ bởi bình phương tối thiểu (tương đương với ước lượng ML khi lỗi là iid bình thường). Có một con dốc.

— Macro

2

Câu hỏi của bạn được hỏi và trả lời (sắp xếp) tại stats.stackexchange.com/questions/13126 và stats.stackexchange.com/questions/18434 . Tuy nhiên, tôi tin rằng chưa có ai đóng góp một lời giải thích đơn giản, rõ ràng về mối quan hệ giữa (a) hồi quy của

Y

$Y$ vs

X

$X$ , (b) hồi quy của

X

$X$ so với

Y

$Y$ , (c) phân tích mối tương quan của

X

$X$ và

Y

$Y$ , (d) hồi quy lỗi trong biến của

X

$X$ và

Y

$Y$ và (e) phù hợp với phân phối chuẩn bivariate cho

(X, Y)

$(X,Y)$ . Đây sẽ là một nơi tốt cho một giải trình như vậy :-).

— whuber

2

Tất nhiên Macro là chính xác: bởi vì x và y đóng vai trò tương đương trong câu hỏi, độ dốc nào cực đoan hơn là vấn đề may rủi. Tuy nhiên, hình học gợi ý (không chính xác) rằng khi chúng ta đảo ngược x và y trong hồi quy, chúng ta sẽ có được điểm đối của độ dốc ban đầu. Điều đó không bao giờ xảy ra trừ khi x và y phụ thuộc tuyến tính. Câu hỏi này có thể được hiểu là hỏi tại sao.

— whuber

23

Với điểm dữ liệu , trong mặt phẳng, chúng ta hãy vẽ một đường thẳng . Nếu chúng ta dự đoán là giá trị của , thì lỗi là $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ ,sai số bình phươnglà vàtổng bình phương lỗi . Chúng tôi hỏi $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

Có gì lựa chọn và Giảm thiểu ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

Vì là khoảng cách dọc của từ đường thẳng, nên chúng tôi yêu cầu đường thẳng sao cho tổng bình phương của khoảng cách dọc của các điểm từ dòng càng nhỏ càng tốt. Bây giờ là hàm bậc hai của cả và và đạt giá trị tối thiểu khi và sao cho $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$ Từ phương trình thứ hai, chúng tôi nhận

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

trong đó

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

là các giá trị trung bình số học của

và

. Thay vào phương trình đầu tiên, ta được

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$

y_{i}

$y_i$

x_{i}

$x_i$

Do đó, dòng thu nhỏ

có thể được biểu thị là

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

Nếu chúng ta trao đổi vai trò của và , hãy vẽ một đường và yêu cầu các giá trị của và làm giảm thiểu nghĩa là chúng ta muốn đường thẳng sao cho tổng bình phương của khoảng cách ngang của các điểm từ dòng càng nhỏ càng tốt, sau đó chúng tôi nhận được $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$ và giá trị tối thiểu của là

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

Lưu ý rằng cả hai dòng đều đi qua điểm nhưng các sườn là nói chung là khác nhau. Thật vậy, như @whuber chỉ ra trong một nhận xét, các sườn giống nhau khi tất cả các điểm nằm trên cùng một đường thẳng. Để thấy điều này, lưu ý rằng $(\mu_x,\mu_y)$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— Dilip Sarwate
nguồn

Cảm ơn! abs (tương quan) <1 giải thích tại sao độ dốc có hệ thống dốc hơn trong trường hợp đảo ngược.

— Greg Aponte

(+1) nhưng tôi đã thêm một câu trả lời chỉ bằng một minh họa về những gì bạn vừa nói, vì tôi có đầu óc hình học :)

— Elvis

Trả lời lớp học (+1)

— Digio

39

Chỉ để minh họa câu trả lời của Dilip: trên các hình ảnh sau đây,

các chấm đen là các điểm dữ liệu;
ở bên trái, đường màu đen là đường hồi quy thu được bằng cách thu y ~ xnhỏ các ô vuông có độ dài của các đoạn màu đỏ;
ở bên phải, đường màu đen là đường hồi quy thu được bằng cách thu x ~ ynhỏ các ô vuông có độ dài của các đoạn màu đỏ.

đường hồi quy

Chỉnh sửa (hồi quy hình chữ nhật tối thiểu)

Nếu không có cách tự nhiên nào để chọn "phản hồi" và "đồng biến", mà là hai biến phụ thuộc lẫn nhau, bạn có thể muốn giữ vai trò đối xứng cho và ; trong trường hợp này, bạn có thể sử dụng "hồi quy hình chữ nhật tối thiểu." $y$ $x$

viết , như thường lệ; $Y = aX + b + \epsilon$
biểu thị và các ước tính của điều kiện cho và của điều kiện với ; $\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
thu nhỏ, dẫn đến $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

Dưới đây là một minh họa với cùng một điểm dữ liệu, cho mỗi điểm, một "hình chữ nhật" được tính là tích của hai đoạn màu đỏ và tổng các hình chữ nhật được thu nhỏ. Tôi không biết nhiều về các thuộc tính của hồi quy này và tôi không tìm thấy nhiều với google.

hình chữ nhật nhỏ nhất

— Elvis
nguồn

14

Một số lưu ý: ( 1 ) Trừ khi tôi nhầm, có vẻ như "hồi quy hình chữ nhật nhỏ nhất" tương đương với giải pháp thu được từ việc lấy thành phần chính đầu tiên trên ma trận sau khi căn giữa và thay đổi kích thước để có phương sai đơn vị và sau đó backsubstituting. (tt)

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

— Đức hồng y

14

(tt) ( 2 ) Đã xem theo cách này, dễ dàng nhận thấy rằng "hồi quy hình chữ nhật nhỏ nhất" này tương đương với một dạng bình phương trực giao (hoặc tổng) nhỏ nhất và do đó, ( 3 ) Một trường hợp đặc biệt của hồi quy Deming trên các vectơ trung tâm, được định cỡ lại lấy . Bình phương tối thiểu trực giao có thể được coi là "hồi quy vòng tròn nhỏ nhất".

δ = 1

$\delta = 1$

— Đức hồng y

2

@cardinal Bình luận rất thú vị! (+1) Tôi tin rằng trục chính (giảm thiểu khoảng cách vuông góc giữa đường reg và tất cả các điểm, à la PCA) hoặc giảm hồi quy trục chính hoặc hồi quy loại II như được minh họa trong gói lmodel2 R của P Legendre, cũng có liên quan ở đây vì các kỹ thuật này được sử dụng khi khó có thể nói vai trò nào (phản hồi hoặc dự đoán) đóng từng biến hoặc khi chúng ta muốn tính đến các lỗi đo lường.

— chl

1

@chl: (+1) Có, tôi tin rằng bạn đúng và trang Wikipedia trên tổng bình phương tối thiểu liệt kê một số tên khác cho cùng một quy trình, không phải tất cả những gì tôi quen thuộc. Nó dường như quay trở lại ít nhất R. Frisch, Phân tích hợp lưu thống kê bằng các hệ thống hồi quy hoàn chỉnh , Đại học Økonomiske Instituut, 1934 nơi nó được gọi là hồi quy chéo .

— Đức hồng y

3

@cardinal Tôi nên cẩn thận hơn khi đọc mục Wikipedia ... Để tham khảo trong tương lai, đây là hình ảnh được chụp từ Thiết kế và phân tích sinh học bằng R , của M. Logan (Wiley, 2010; Hình 8.4, trang 174) , trong đó tóm tắt các cách tiếp cận khác nhau, giống như minh họa đẹp của Elvis.

— chl

13

Chỉ cần một lưu ý ngắn gọn về lý do tại sao bạn thấy độ dốc nhỏ hơn cho một hồi quy. Cả hai độ dốc phụ thuộc vào ba số: độ lệch chuẩn của và ( và ) và mối tương quan giữa và ( ). Hồi quy với là phản hồi có độ dốc và hồi quy với là phản hồi có độ dốc , do đó tỷ lệ của độ dốc thứ nhất so với nghịch đảo của lần thứ hai bằng . $x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

Vì vậy, tỷ lệ phương sai được giải thích càng lớn, độ dốc thu được từ mỗi trường hợp càng gần. Lưu ý rằng tỷ lệ phương sai được giải thích là đối xứng và bằng với tương quan bình phương trong hồi quy tuyến tính đơn giản.

— xác suất
nguồn

1

Một cách đơn giản để xem xét điều này là lưu ý rằng, nếu đối với mô hình thực sự , bạn chạy hai hồi quy: $y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

Sau đó, chúng tôi có, sử dụng : $b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

Vì vậy, việc bạn có được độ dốc cao hơn hay không chỉ phụ thuộc vào tỷ lệ . Tỷ lệ này bằng, dựa trên mô hình đúng giả định: $\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

Liên kết với các câu trả lời khác

Bạn có thể kết nối kết quả này với câu trả lời từ những người khác, họ nói rằng khi , nó sẽ là đối ứng. Thật vậy, , và cũng, (không có lỗi ước tính), do đó: $R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

Vậy $b_{x\sim y}=1/\beta$

— Matifou
nguồn

0

Nó trở nên thú vị khi có tiếng ồn trên đầu vào của bạn (mà chúng ta có thể tranh luận luôn luôn như vậy, không có lệnh hay quan sát nào là hoàn hảo).

Tôi đã xây dựng một số mô phỏng để quan sát hiện tượng, dựa trên mối quan hệ tuyến tính đơn giản , với nhiễu Gaussian trên cả x và y. Tôi đã tạo các quan sát như sau (mã python): $x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

Xem các kết quả khác nhau (odr ở đây là hồi quy khoảng cách trực giao , nghĩa là giống như hồi quy hình chữ nhật nhỏ nhất):

Tất cả các mã nằm trong đó:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— levesque
nguồn

0

Đường hồi quy không (luôn luôn) giống như mối quan hệ thực sự

Bạn có thể có một số mối quan hệ nhân quả 'thật' như

y = a + b x + ϵ

$y = a + bx + \epsilon$

nhưng các đường hồi quy được trang bị y ~ xhoặc x ~ ykhông có nghĩa giống như mối quan hệ nhân quả đó (ngay cả khi trong thực tế, biểu thức cho một trong các đường hồi quy có thể trùng với biểu thức cho mối quan hệ 'đúng' nguyên nhân)

Mối quan hệ chính xác hơn giữa các sườn

Đối với hai hồi quy tuyến tính đơn giản chuyển đổi:

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

bạn có thể liên hệ các sườn dốc như sau:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

Vì vậy, các sườn không phải là nghịch đảo lẫn nhau.

Trực giác

Lý do là

Các đường hồi quy và tương quan không nhất thiết phải tương ứng một đối một với mối quan hệ nhân quả.
Các đường hồi quy liên quan trực tiếp hơn đến xác suất có điều kiện hoặc dự đoán tốt nhất.

Bạn có thể tưởng tượng rằng xác suất có điều kiện liên quan đến sức mạnh của mối quan hệ. Các đường hồi quy phản ánh điều này và độ dốc của các đường có thể vừa nông khi độ mạnh của mối quan hệ nhỏ hoặc cả hai dốc khi độ mạnh của mối quan hệ mạnh. Các sườn không chỉ đơn giản là nghịch đảo lẫn nhau.

Thí dụ

Nếu hai biến và liên quan với nhau bởi mối quan hệ tuyến tính (nguyên nhân) thì bạn có thể tưởng tượng rằng sẽ không tốt khi đảo ngược hoàn toàn mối quan hệ đó trong trường hợp bạn muốn thể hiện dựa trên giá trị . $X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

Thay vì

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

nó sẽ tốt hơn để sử dụng

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

Xem các phân phối ví dụ sau với các đường hồi quy tương ứng của chúng. Các bản phân phối là đa biến thông thường với và $\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

Các giá trị dự kiến có điều kiện (những gì bạn sẽ nhận được trong hồi quy tuyến tính) là

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

và trong trường hợp này với một phân phối chuẩn nhiều biến số, thì các phân phối biên là $X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

Vì vậy, bạn có thể thấy biến Y là một phần và một phần nhiễu có phương sai . Điều tương tự cũng đúng theo cách khác. $\rho X$ $1-\rho^2$

Hệ số tương quan càng lớn, hai đường sẽ càng gần nhau. Nhưng mối tương quan càng thấp, mối quan hệ càng mạnh mẽ, các đường sẽ càng dốc (điều này đúng cho cả hai dòng và ) $\rho$ Y ~ XX ~ Y

— Sextus Empiricus
nguồn

0

Câu trả lời ngắn

Mục tiêu của hồi quy tuyến tính đơn giản là đưa ra các dự đoán tốt nhất về ybiến, các giá trị đã cho của xbiến. Đây là một mục tiêu khác với việc cố gắng đưa ra dự đoán tốt nhất về xbiến, cho các giá trị của ybiến.

Hồi quy tuyến tính đơn giản y ~ xcung cấp cho bạn mô hình 'tốt nhất' có thể để dự đoán yđược đưa ra x. Do đó, nếu bạn phù hợp với một mô hình cho x ~ yvà đại số đảo ngược nó, mô hình đó có thể làm tốt nhất chỉ là mô hình cho y ~ x. Nhưng việc đảo ngược một mô hình phù hợp x ~ ythường sẽ làm tồi tệ hơn trong việc dự đoán yđược đưa ra x, so với y ~ xmô hình 'tối ưu' , bởi vì " x ~ ymô hình đảo ngược " được tạo ra để thực hiện một mục tiêu khác.

Hình minh họa

Hãy tưởng tượng bạn có bộ dữ liệu sau:

Khi bạn chạy hồi quy OLS y ~ x, bạn sẽ đưa ra mô hình sau

y = 0.167 + 1.5*x

Điều này tối ưu hóa các dự đoán ybằng cách đưa ra các dự đoán sau, có các lỗi liên quan:

Dự đoán của hồi quy OLS là tối ưu theo nghĩa là tổng các giá trị trong cột ngoài cùng bên phải (nghĩa là tổng bình phương) càng nhỏ càng tốt.

Khi bạn chạy hồi quy OLS x ~ y, bạn sẽ đưa ra một mô hình khác:

x = -0.07 + 0.64*y

Điều này tối ưu hóa các dự đoán của x bằng cách đưa ra các dự đoán sau, với các lỗi liên quan.

Một lần nữa, điều này là tối ưu theo nghĩa là tổng các giá trị của cột ngoài cùng bên phải càng nhỏ càng tốt (bằng 0.071).

Bây giờ, hãy tưởng tượng bạn đã cố gắng đảo ngược mô hình đầu tiên y = 0.167 + 1.5*x, bằng cách sử dụng đại số, đưa cho bạn mô hình x = -0.11 + 0.67*x.

Điều này sẽ cung cấp cho bạn các dự đoán sau đây và các lỗi liên quan:

Tổng các giá trị trong cột ngoài cùng bên phải 0.074là lớn hơn tổng tương ứng từ mô hình bạn nhận được từ hồi quy x trên y, tức là x ~ ymô hình. Nói cách khác, " y ~ xmô hình đảo ngược " đang làm một công việc tồi tệ hơn trong việc dự đoán x so với mô hình OLS của x ~ y.

— bschneidr
nguồn