Làm thế nào tổng của hai biến giải thích nhiều phương sai hơn các biến riêng lẻ?

Tôi nhận được một số kết quả khó hiểu cho mối tương quan của một tổng với biến thứ ba khi hai yếu tố dự đoán có tương quan nghịch. Điều gì gây ra những kết quả bối rối này?

Ví dụ 1: Tương quan giữa tổng của hai biến và biến thứ ba

Hãy xem xét công thức 16,23 trên trang 427 của văn bản năm 1969 của Guildford, được hiển thị bên dưới.

Tìm kiếm Perplexing: Nếu cả hai biến tương quan .2 với biến thứ ba và tương quan -.7 với nhau, công thức dẫn đến giá trị là 0,52. Làm thế nào có thể tương quan của tổng với biến thứ ba là 0,52 nếu hai biến mỗi chỉ tương quan .2 với biến thứ ba?

Ví dụ 2: Tương quan nhiều giữa hai biến và biến thứ ba là gì?

Hãy xem xét công thức 16.1 trên trang 404 của văn bản năm 1969 của Guildford (hiển thị bên dưới).

Tìm kiếm bối rối: Tình hình tương tự. Nếu cả hai biến tương quan .2 với biến thứ ba và tương quan -.7 với nhau, công thức dẫn đến giá trị là 0,52. Làm thế nào có thể tương quan của tổng với biến thứ ba là 0,52 nếu hai biến mỗi chỉ tương quan .2 với biến thứ ba?

Tôi đã thử một mô phỏng Monte Carlo nhỏ nhanh chóng và nó xác nhận kết quả của các công thức Guilford.

Nhưng nếu hai yếu tố dự đoán, mỗi yếu tố dự đoán 4% phương sai của biến thứ ba, làm thế nào một tổng số có thể dự đoán 1/4 phương sai?

Nguồn: Thống kê cơ bản trong Tâm lý học và Giáo dục, tái bản lần thứ 4, năm 1965.

LÀM RÕ

Tình huống tôi đang giải quyết liên quan đến việc dự đoán hiệu suất trong tương lai của từng người dựa trên việc đo lường khả năng của họ bây giờ.

Hai sơ đồ Venn dưới đây cho thấy sự hiểu biết của tôi về tình huống và nhằm làm rõ sự bối rối của tôi.

Biểu đồ Venn này (Hình 1) phản ánh thứ tự 0 r = .2 giữa x1 và C. Trong trường của tôi có nhiều biến dự đoán như vậy có thể dự đoán một cách khiêm tốn một tiêu chí.

Biểu đồ Venn này (Hình 2) phản ánh hai dự báo như vậy, x1 và x2, mỗi dự đoán C tại r = .2 và hai dự đoán tương quan nghịch, r = -. 7.

Tôi không thể hình dung được mối quan hệ giữa hai yếu tố dự đoán r = .2 sẽ cùng nhau dự đoán 25% phương sai của C.

Tôi tìm kiếm sự giúp đỡ để hiểu mối quan hệ giữa x1, x2 và C.

Nếu (như được đề xuất bởi một số người trả lời câu hỏi của tôi) x2 đóng vai trò là biến triệt tiêu cho x1, khu vực nào trong sơ đồ Venn thứ hai đang bị triệt tiêu?

Nếu một ví dụ cụ thể sẽ hữu ích, chúng ta có thể coi x1 và x2 là hai khả năng của con người và C là GPA đại học 4 năm, 4 năm sau.

Tôi đang gặp khó khăn khi hình dung làm thế nào một biến số triệt tiêu có thể gây ra phương sai 8% được giải thích của hai r = .2 zero order r để phóng to và giải thích 25% phương sai của C. Một ví dụ cụ thể sẽ là một câu trả lời rất hữu ích.

Điều này có thể xảy ra khi cả hai yếu tố dự đoán đều chứa yếu tố phiền toái lớn, nhưng với dấu hiệu ngược lại, vì vậy khi bạn thêm chúng vào, phiền toái sẽ hủy bỏ và bạn có được một cái gì đó gần hơn với biến thứ ba.

Hãy minh họa bằng một ví dụ thậm chí còn cực đoan hơn. Giả sử là các biến ngẫu nhiên tiêu chuẩn thông thường độc lập. Bây giờ hãy để$X, Y \sim N(0,1)$

$A = X$

$B = -X + 0.00001Y$

Giả sử là biến thứ ba của bạn, A , B là hai biến dự đoán của bạn và X là biến tiềm ẩn mà bạn không biết gì về nó. Tương quan của A với Y là 0 và tương quan của B với Y là rất nhỏ, gần bằng 0,00001. * Nhưng tương quan của A + B với Y là 1.$Y$$A, B$$X$$A+B$$Y$

* Có một sự điều chỉnh nhỏ xíu cho độ lệch chuẩn của B là hơn 1 chút.

Nó có thể hữu ích để quan niệm ba biến là sự kết hợp tuyến tính của các biến không tương quan khác. Để cải thiện cái nhìn sâu sắc của chúng tôi, chúng tôi có thể mô tả chúng về mặt hình học, làm việc với chúng theo đại số và cung cấp các mô tả thống kê khi chúng tôi muốn.

Xem xét, sau đó, ba không tương quan zero-mean, các biến đơn vị sai , Y , và Z . Từ những cấu trúc này như sau:$X$$Y$$Z$

$$U = X,\quad V = (- 7 X + \sqrt{51}Y )/10;\quad W=(\sqrt{3} X + \sqrt{17} Y + \sqrt{55}Z)/\sqrt{75}.$$

Giải thích hình học

Đồ họa sau đây là về tất cả những gì bạn cần để hiểu mối quan hệ giữa các biến này.

Biểu đồ giả 3D này hiển thị , V , W và U + V trong hệ tọa độ X , Y , Z. Các góc giữa các vectơ phản ánh mối tương quan của chúng (các hệ số tương quan là cosin của các góc). Mối tương quan âm lớn giữa U và V được phản ánh trong góc tù giữa chúng. Các mối tương quan dương nhỏ của U và V với W được phản ánh bởi độ gần vuông góc của chúng. Tuy nhiên, tổng của U và V rơi trực tiếp bên dưới$U$$V$$W$$U+V$$X,Y,Z$$U$$V$$U$$V$$W$$U$$V$$W$, tạo một góc nhọn (khoảng 45 độ): có mối tương quan dương cao bất ngờ.

---

Tính toán đại số

Đối với những người muốn nghiêm ngặt hơn, đây là đại số để sao lưu hình học trong đồ họa.

Tất cả các căn bậc hai đều có trong đó để làm cho , V và W có phương sai đơn vị: điều đó giúp dễ dàng tính toán các mối tương quan của chúng, bởi vì các mối tương quan sẽ bằng hiệp phương sai. vì thế$U$$V$$W$

$$\operatorname{Cor}(U, V) = \operatorname{Cov}(U,V) = \mathbb{E}(UV) = \mathbb{E}(\sqrt{51}XY- 7 X^2)/10 = -7/10 = -0.7$$

vì và Y không tương quan. Tương tự$X$$Y$

$$\operatorname{Cor}(U,W) = \sqrt{3/75} = 1/5 = 0.2$$

và

$$\operatorname{Cor}(V,W) = (-7\sqrt{3} + \sqrt{15}\sqrt{17})/(10\sqrt{75}) = 1/5 = 0.2.$$

Cuối cùng,

$$\operatorname{Cor}(U+V,W) = \frac{\operatorname{Cov}(U+V,W)}{\sqrt{\operatorname{Var}(U+V)\operatorname{Var}(W)}} = \frac{1/5 + 1/5}{\sqrt{\operatorname{Var}(U) + \operatorname{Var}(V) + 2\operatorname{Cov}(U,V)}} = \frac{2/5}{\sqrt{1 + 1 - 2(7/10)}} = \frac{2/5}{\sqrt{3/5}}\approx 0.5164.$$

Do đó, ba biến này có mối tương quan mong muốn.

---

Giải thích thống kê

Bây giờ chúng ta có thể thấy lý do tại sao mọi thứ hoạt động như nó:

• và V có một mối tương quan tiêu cực mạnh mẽ của - 7 / 10 vì V là tỉ lệ với tiêu cực của U cộng với một chút "tiếng ồn" trong hình thức một bội số nhỏ của Y .$U$$V$$-7/10$$V$$U$$Y$

• và W có tương quan dương tính yếu 1 / 5 vì W bao gồm một bội số nhỏ của U cộng với rất nhiều tiếng ồn dưới dạng bội số của Y và Z .$U$$W$$1/5$$W$$U$$Y$$Z$

• và W có tương quan dương tính yếu 1 / 5 vì W (khi nhân$V$$W$$1/5$$W$ , sẽ không thay đổi bất kỳ mối tương quan nào) là tổng của ba điều:$\sqrt{75}$

  • , tương quan dương vớiV;$\sqrt{17}Y$$V$
  • , cótương quanâmvới$-\sqrt{3}X$$V$ làm giảm tương quan tổng thể;
  • và bội số của giới thiệu rất nhiều nhiễu.$Z$

• Tuy nhiên, là khá tương quan thuận vớiWvì nó là một bội số của một phần củaWmà không bao gồmZ.$U+V = (3X + \sqrt{51}Y)/10 = \sqrt{3/100}(\sqrt{3}X + \sqrt{17}Y)$$W$$W$$Z$

Một ví dụ đơn giản khác:

• Đặt $z \sim \mathcal{N}(0,1)$
• Hãy $x_1 \sim \mathcal{N}(0,1)$
• Đặt (do đó z = x 1 + x 2 )$x_2 = z - x_1$$z = x_1 + x_2$

Sau đó:

• $\mathrm{Corr}(z, x_1) = 0$
• $\mathrm{Corr}(z, x_2) \approx .7$
• $\mathrm{Corr}(z, x_1 + x_2) = 1$

Về mặt hình học, những gì đang diễn ra giống như trong đồ họa của WHuber. Về mặt khái niệm, nó có thể trông giống như thế này:

$E[XY]$

$x_1$$z$$\theta$

• $\mathrm{Corr}(z, x_1) = \cos \theta_{zx_1} = 0 \quad \quad \theta_{z,x_1} = \frac{\pi}{2}$
• $\mathrm{Corr}(z, x_2) = \cos \theta_{zx_2} \approx .7 \quad \quad \theta_{z,x_2} = \frac{\pi}{4}$
• $\mathrm{Corr}(z, x_1 + x_2) = \cos \theta_{z,x_1+x_2} = 1 \quad \quad \theta_{z, x_1 + x_2} = 0$

$z$$-x_1$$x_2$$z$$-x_1$$x_1$$x_2$$-x_1$$x_2$

Phát biểu ý kiến ​​của bạn:

Mặc dù toán học, tôi vẫn không thấy logic của tổng hai biến giải thích 25 +% phương sai của biến thứ ba khi mỗi biến hai biến đi vào tổng dự đoán nhưng 4% phương sai của biến thứ ba đó . Làm thế nào 8% giải thích phương sai trở thành 25% giải thích phương sai chỉ bằng cách thêm hai biến?

Vấn đề ở đây dường như là thuật ngữ "phương sai giải thích". Giống như rất nhiều thuật ngữ trong thống kê, điều này đã được chọn để làm cho nó có vẻ như nó có nghĩa nhiều hơn thực tế.

$Y$

$$y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)$$

$U$$Y$$R$$R$$Y$

$$r = (-20, -80, 100, 90, 50, 70, 40, 30, 40, 60)$$

$U = R + 0.1Y$

$$u = (-19.4, -79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)$$

$V=-R+0.1Y$

$$v = (20.6, 80.7, -99.6, -89.2, -49.1, -69.4, -39.4, -29.7, -39.5, -59.0)$$

$U$$V$$Y$$r$$0.2Y$$Y$ .

$Y$$U$$U$$R$$V$$R$$Y$$U+V$

$A$$B$$B$$A$