Sự khác biệt giữa hồi quy tuyến tính trên y với x và x với y là gì?

Hệ số tương quan Pearson của x và y là như nhau, cho dù bạn tính pearson (x, y) hay pearson (y, x). Điều này cho thấy rằng thực hiện hồi quy tuyến tính của y cho x hoặc x đã cho y là như nhau, nhưng tôi không nghĩ đó là trường hợp.

Ai đó có thể làm sáng tỏ khi mối quan hệ không đối xứng, và làm thế nào điều đó liên quan đến hệ số tương quan Pearson (mà tôi luôn nghĩ là tóm tắt dòng phù hợp nhất)?

Cách tốt nhất để suy nghĩ về điều này là tưởng tượng một biểu đồ phân tán các điểm có trên trục tung và x được biểu thị bằng trục hoành. Dựa vào khung này, bạn sẽ thấy một đám mây điểm, có thể là hình tròn mơ hồ hoặc có thể được kéo dài thành hình elip. Những gì bạn đang cố gắng thực hiện trong hồi quy là tìm thứ có thể được gọi là 'dòng phù hợp nhất'. Tuy nhiên, trong khi điều này có vẻ đơn giản, chúng ta cần tìm ra ý nghĩa của từ 'tốt nhất' và điều đó có nghĩa là chúng ta phải xác định những gì sẽ là tốt cho một dòng hoặc tốt hơn một dòng tốt hơn một dòng khác, v.v. , chúng ta phải quy định một chức năng mất$y$$x$. Hàm mất mát cung cấp cho chúng ta một cách để nói mức độ "xấu" của một cái gì đó, và do đó, khi chúng ta giảm thiểu điều đó, chúng ta sẽ tạo ra dòng 'tốt nhất có thể' hoặc tìm dòng 'tốt nhất'.

Theo truyền thống, khi chúng tôi tiến hành phân tích hồi quy, chúng tôi tìm thấy các ước tính về độ dốc và đánh chặn để giảm thiểu tổng các lỗi bình phương . Chúng được định nghĩa như sau:

$$SSE=\sum_{i=1}^N(y_i-(\hat\beta_0+\hat\beta_1x_i))^2$$

Về mặt phân tán của chúng tôi, điều này có nghĩa chúng ta đang giảm thiểu (tổng các bình phương) khoảng cách thẳng đứng giữa các điểm dữ liệu quan sát và dòng.

Mặt khác, hoàn toàn hợp lý khi hồi quy lên y , nhưng trong trường hợp đó, chúng ta sẽ đặt x trên trục tung, v.v. Nếu chúng ta giữ nguyên âm mưu của mình (với x trên trục hoành), hồi quy x lên y (một lần nữa, sử dụng phiên bản điều chỉnh một chút của phương trình trên với x và y đã chuyển) có nghĩa là chúng ta sẽ giảm thiểu tổng khoảng cách ngang$x$$y$$x$$x$$x$$y$$x$$y$giữa các điểm dữ liệu quan sát và đường. Điều này nghe có vẻ rất giống nhau, nhưng không hoàn toàn giống nhau. (Cách nhận biết điều này là thực hiện cả hai cách, và sau đó chuyển đổi một cách đại số một bộ ước tính tham số thành các điều khoản của mô hình kia. So sánh mô hình đầu tiên với phiên bản được sắp xếp lại của mô hình thứ hai, chúng ta dễ dàng nhận ra rằng chúng là không giống nhau.)

Lưu ý rằng không có cách nào tạo ra cùng một dòng chúng ta sẽ vẽ bằng trực giác nếu ai đó đưa cho chúng ta một mảnh giấy vẽ đồ thị với các điểm được vẽ trên đó. Trong trường hợp đó, chúng ta sẽ vẽ một đường thẳng qua tâm, nhưng giảm thiểu khoảng cách theo chiều dọc sẽ tạo ra một đường thẳng hơn một chút (nghĩa là với độ dốc nông hơn), trong khi giảm thiểu khoảng cách ngang sẽ tạo ra một đường dốc hơn một chút .

Một mối tương quan là đối xứng; tương quan với y như y với x . Tuy nhiên, mối tương quan thời điểm sản phẩm Pearson có thể được hiểu trong bối cảnh hồi quy. Hệ số tương quan, r , là độ dốc của đường hồi quy khi cả hai biến đã được chuẩn hóa trước. Đó là, trước tiên bạn trừ đi giá trị trung bình từ mỗi quan sát, sau đó chia sự khác biệt cho độ lệch chuẩn. Bây giờ, đám mây của các điểm dữ liệu sẽ được tập trung vào điểm gốc và độ dốc sẽ giống nhau cho dù bạn có hồi quy y trên x hay x trên $x$$y$$y$$x$$r$$y$$x$$x$$y$ (nhưng lưu ý nhận xét của @DilipSarwate bên dưới).

Bây giờ, tại sao điều này lại quan trọng? Sử dụng hàm mất truyền thống của chúng tôi, chúng tôi đang nói rằng tất cả các lỗi chỉ nằm trong một trong các biến (viz., ). Đó là, chúng tôi đang nói rằng x được đo không có lỗi và tạo thành tập hợp các giá trị chúng tôi quan tâm, nhưng y có lỗi lấy mẫu$y$$x$$y$. Điều này rất khác với việc nói ngược lại. Điều này rất quan trọng trong một tập phim lịch sử thú vị: Vào cuối thập niên 70 và đầu thập niên 80 ở Mỹ, vụ án được đưa ra là có sự phân biệt đối xử với phụ nữ tại nơi làm việc và điều này được hỗ trợ bằng các phân tích hồi quy cho thấy phụ nữ có hoàn cảnh bình đẳng (ví dụ , trình độ, kinh nghiệm, vv) được trả tiền, trung bình, ít hơn nam giới. Các nhà phê bình (hoặc chỉ những người cực kỳ kỹ lưỡng) lập luận rằng nếu điều này là đúng, phụ nữ được trả công bằng với đàn ông sẽ phải có trình độ cao hơn, nhưng khi điều này được kiểm tra, người ta thấy rằng mặc dù kết quả là 'đáng kể' khi đánh giá theo một cách, chúng không "đáng kể" khi được kiểm tra theo cách khác, điều này đã khiến mọi người liên quan đến một cách chóng mặt. Xem tại đây cho một bài báo nổi tiếng đã cố gắng để làm rõ vấn đề.

---

(Cập nhật nhiều sau) Đây là một cách khác để suy nghĩ về vấn đề này tiếp cận chủ đề thông qua các công thức thay vì trực quan:

Công thức cho độ dốc của đường hồi quy đơn giản là hệ quả của hàm mất mát đã được áp dụng. Nếu bạn đang sử dụng chức năng mất bình phương tối thiểu bình thường tiêu chuẩn (đã lưu ý ở trên), bạn có thể rút ra công thức cho độ dốc mà bạn thấy trong mỗi sách giáo khoa giới thiệu. Công thức này có thể được trình bày dưới nhiều hình thức khác nhau; một trong số đó tôi gọi là công thức 'trực quan' cho độ dốc. Hãy xem xét biểu mẫu này cho cả hai tình huống mà bạn đang suy thoái trên x , và nơi bạn đang suy thoái x trên y : y  trên  x ⏞ beta 1 = cov ( x , y $y$$x$$x$$y$ Bây giờ, tôi hy vọng rõ ràng rằng những điều này sẽ không giống nhau trừ khiVar(x)bằng vớiVar(y). Nếu chênh lệchlàbằng nhau (ví dụ, bởi vì bạn chuẩn các biến đầu tiên), sau đó như vậy là độ lệch chuẩn, và do đó sự chênh lệch sẽ cả cũng tương đươngSD(x)SD(y). Trong trường hợp này,β1sẽ bằng Pearsonr, đó là một trong hai cách tương tự nhờnguyên tắc giao hoán:

$$\overbrace{\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}}^{y\text{ on } x}~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{\hat\beta_1=\frac{\text{Cov}(y,x)}{\text{Var}(y)}}^{x\text{ on }y}$$ $\text{Var}(x)$$\text{Var}(y)$$\text{SD}(x)\text{SD}(y)$$\hat\beta_1$$r$ $$\overbrace{r=\frac{\text{Cov}(x,y)}{\text{SD}(x)\text{SD}(y)}}^{\text{correlating }x\text{ with }y}~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{r=\frac{\text{Cov}(y,x)}{\text{SD}(y)\text{SD}(x)}}^{\text{correlating }y\text{ with }x}$$

Tôi sẽ minh họa câu trả lời với một số Rmã và đầu ra.

Đầu tiên, chúng tôi xây dựng một phân phối bình thường ngẫu nhiên y, với giá trị trung bình là 5 và SD là 1:

y <- rnorm(1000, mean=5, sd=1)

Tiếp theo, tôi cố tình tạo một phân phối bình thường ngẫu nhiên thứ hai x, đơn giản là gấp 5 lần giá trị của ymỗi y:

x <- y*5

Theo thiết kế, chúng tôi có mối tương quan hoàn hảo xvà y:

cor(x,y)
[1] 1
cor(y,x)
[1] 1

Tuy nhiên, khi chúng ta thực hiện hồi quy, chúng ta đang tìm một hàm có liên quan xvà ydo đó, kết quả của các hệ số hồi quy phụ thuộc vào biến nào chúng ta sử dụng làm biến phụ thuộc và chúng ta sử dụng làm biến độc lập. Trong trường hợp này, chúng tôi không phù hợp với việc chặn vì chúng tôi đã thực hiện xmột chức năng ykhông có biến thể ngẫu nhiên:

lm(y~x-1)
Call:
lm(formula = y ~ x - 1)

Coefficients:
  x  
0.2

lm(x ~ y-1)
Call:
lm(formula = x ~ y - 1)

Coefficients:
y  
5  

Vì vậy, hồi quy cho chúng ta biết điều đó y=0.2xvà x=5ytất nhiên là tương đương. Hệ số tương quan chỉ đơn giản cho chúng ta thấy rằng có một sự trùng khớp chính xác về mức độ thay đổi đơn vị giữa xvà y, do đó (ví dụ) mức tăng 1 đơn vị yluôn tạo ra mức tăng 0,2 đơn vị x.

Cái nhìn sâu sắc rằng vì mối tương quan của Pearson là giống nhau cho dù chúng ta thực hiện hồi quy x với y hay y so với x là tốt, chúng ta sẽ nhận được hồi quy tuyến tính tương tự là một hồi quy tốt. Nó chỉ hơi không chính xác, và chúng ta có thể sử dụng nó để hiểu những gì đang thực sự xảy ra.

Đây là phương trình cho một dòng, đó là những gì chúng tôi đang cố gắng nhận được từ hồi quy của chúng tôi

Phương trình độ dốc của đường đó được điều khiển bởi mối tương quan của Pearson

Đây là phương trình cho mối tương quan của Pearson. Điều này giống nhau cho dù chúng ta đang hồi quy x với y hay y so với x

Tuy nhiên, khi chúng ta nhìn lại phương trình thứ hai của chúng ta về độ dốc, chúng ta thấy rằng mối tương quan của Pearson không phải là thuật ngữ duy nhất trong phương trình đó. Nếu chúng ta tính y theo x, chúng ta cũng có độ lệch chuẩn mẫu của y chia cho độ lệch chuẩn của mẫu là x. Nếu chúng ta tính toán hồi quy của x so với y, chúng ta sẽ cần đảo ngược hai số hạng đó.

Đối với các câu hỏi như thế này, rất dễ bị cuốn vào các vấn đề kỹ thuật, vì vậy tôi muốn tập trung cụ thể vào câu hỏi trong tiêu đề của câu hỏi: Sự khác biệt giữa hồi quy tuyến tính trên y với x và x với y ?

Hãy xem xét một khoảnh khắc mô hình kinh tế lượng (đơn giản hóa) từ lý thuyết vốn con người (liên kết đến một bài viết của nhà văn đoạt giải Nobel Gary Becker). Giả sử chúng ta chỉ định một mô hình có dạng sau:

$$\begin{equation} \text{wages} = b_{0} + b_{1}~\text{years of education} + \text{error} \end{equation}$$

Bây giờ, nếu chúng ta thực hiện đảo ngược phương trình kinh tế lượng (nghĩa là thay đổi y trên x thành x trên y), để mô hình trở thành

$$\begin{equation} \text{years of education} = b_{0} + b_{1}~\text{wages} + \text{error} \end{equation}$$

Tôi chắc rằng bạn có thể nghĩ ra nhiều ví dụ như thế này (ngoài lĩnh vực kinh tế cũng vậy), nhưng như bạn có thể thấy, việc giải thích mô hình có thể thay đổi khá đáng kể khi chúng ta chuyển từ hồi quy y trên x sang x trên y.

Vì vậy, để trả lời câu hỏi: sự khác biệt giữa hồi quy tuyến tính trên y với x và x với y là gì? , chúng ta có thể nói rằng việc giải thích phương trình hồi quy thay đổi khi chúng ta hồi quy x trên y thay vì y trên x. Chúng ta không nên bỏ qua điểm này bởi vì một mô hình có một giải thích âm thanh có thể nhanh chóng biến thành một mô hình mà ít hoặc không có ý nghĩa.

Có một hiện tượng rất thú vị về chủ đề này. Sau khi trao đổi x và y, mặc dù hệ số hồi quy thay đổi, nhưng mức thống kê t / thống kê F và mức ý nghĩa của hệ số không thay đổi. Điều này cũng đúng ngay cả trong hồi quy bội, trong đó chúng ta trao đổi y với một trong các biến độc lập.

Đó là do mối quan hệ tế nhị giữa hệ số tương quan F-thống kê và (một phần). Mối quan hệ đó thực sự chạm đến cốt lõi của lý thuyết mô hình tuyến tính. Có nhiều chi tiết hơn về kết luận này trong sổ ghi chép của tôi: Tại sao trao đổi y và x không có tác dụng đối với p

Mở rộng câu trả lời tuyệt vời của @ gung:

$r$$y$$x$$x$$y$

$$\sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = \sqrt{\frac{\text{Cov}(x,y)}{\text{Var}(x)} \cdot \frac{\text{Cov}(y,x)}{\text{Var}(y)}} = \frac{|\text{Cov}(x,y)|}{\text{SD}(x) \cdot \text{SD}(y)} = |r|$$ $r$
$$r = sign({\hat{\beta}_1}_{y\,on\,x}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$ $$r = sign({\hat{\beta}_1}_{x\,on\,y}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$

$r$

$$|\frac{1}{2} \cdot ({\hat{\beta}_1}_{y\,on\,x} + {\hat{\beta}_1}_{x\,on\,y})| \geq \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = |r|$$

$\textbf{ Doing regression of $y$ given $x$}$

$$\min_b \mathbb E(Y - bX)^2$$

$\textbf{doing regression of $x$ given $y$}$

$$\min_b \mathbb E(X - bY)^2$$

$$\min_b \frac{1}{b^2} \mathbb E(Y - bX)^2$$

Cũng cần lưu ý rằng, hai vấn đề có vẻ khác nhau có thể có cùng một giải pháp.

Chà, đúng là với một hồi quy bivariate đơn giản, hệ số tương quan tuyến tính và bình phương R sẽ giống nhau cho cả hai phương trình. Nhưng các sườn sẽ là r Sy / Sx hoặc r Sx / Sy, không phải là đối ứng của nhau, trừ khi r = 1.

Ý tưởng cơ bản của hồi quy có thể là 'nguyên nhân và kết quả' hoặc 'độc lập và phụ thuộc'. Thực tế thông thường về việc đặt biến độc lập trong trục X và biến phụ thuộc trong trục Y, được biểu thị bằng Y = mX + c. Độ dốc sẽ được gọi là m (X trên Y) hay (Y trên X) và hồi quy là: (X trên Y) hoặc (Y trên X). Nó được xử lý theo cả hai cách, điều này không tốt và cần được làm rõ. Người điều hành thường xuyên sử dụng Scatter Plots, để đánh giá xem Dòng mô phỏng có khớp với Dòng quan sát hay không; và sử dụng đường hồi quy là không thể tránh khỏi. ở đây không có điều khoản nguyên nhân. Đi theo sự cần thiết này, câu hỏi câm được đặt ra bởi các chủ đề. Hoặc đơn giản chỉ cần đặt, vui lòng làm rõ cách gọi phân tích hồi quy bình thường: X trên Y; hoặc Y trên X?, vượt ra ngoài câu trả lời nguyên nhân. Nó không phải là một câu trả lời cho chủ đề chính; nhưng một câu hỏi song song.