Có mối tương quan giữa các biến trong một vấn đề tương tác?

Giả sử bạn phù hợp với một mô hình . Có bất kỳ ý nghĩa thực tế nào để ước tính hiệu ứng tương tác nếu và tương quan không?$y = x_1 + x_2 + x_1\times x_2$$x_1$$x_2$

Tôi hiểu có thể có các vấn đề về cộng tuyến nếu $x_1$ và $x_2$ có mối tương quan rất lớn nhưng điều đó không ảnh hưởng đến thuật ngữ tương tác phải không?

Có một lý do mà nhà tư vấn thống kê của bạn không thể giải thích tại sao việc đưa tương tác vào mô hình tuyến tính có thể ảnh hưởng xấu đến cấu trúc tương quan: nó phụ thuộc vào hoàn cảnh và nói chung không đúng là có ảnh hưởng xấu. Chỉ cần nhìn vào các bộ dữ liệu được hiển thị trong ma trận phân tán dưới đây để thấy tất cả các cách khác nhau mà hai biến có thể liên quan đến sản phẩm của họ.

Phần còn lại của bài đăng này giải thích cách những con số đó được tạo ra và có thể cung cấp cái nhìn sâu sắc hơn về tình huống này.

---

Trước tiên, hãy hiểu rõ về cách viết: viết $x_3=x_1x_2,$ bạn có hồi quy bội liên quan đến ba biến $x_1, x_2, x_3.$ Có hay không có vấn đề về cộng tuyến phụ thuộc vào mối quan hệ tuyến tính giữa các $x_i.$ Đó là phổ quát.

Điều đặc biệt về vấn đề này là mối quan hệ giữa $x_3$ và $x_i;$cụ thể là $x_3 = x_1x_2.$ Vì vậy, nếu bất cứ ai đã khuyên bạn nên cẩn thận, thì đó phải là do sự kỳ vọng rằng mối quan hệ nhân này về mặt toán học đòi hỏi một số loại đa hình trong số tất cả các $x_i.$

Điều này không phải là như vậy, như có thể được chứng minh bằng cách trưng bày tất cả các mẫu có thể. Tôi không muốn làm bạn kiệt sức với việc đi qua tất cả các khả năng, vì vậy hãy để tôi chỉ phác thảo một vài trong số những minh họa nhất. Công cụ cơ bản tôi sẽ sử dụng trong nghiên cứu này là quan sát rằng mối tương quan giữa bất kỳ biến $x_1, x_2$ không thay đổi khi $x_i$ riêng biệt trải qua các biến đổi tuyến tính. Đó là, chúng ta có thể tự do nhân một biến với các hằng số và thêm các hằng số khác vào kết quả mà không thay đổi mối tương quan. Tuy nhiên, các hoạt động này có thể làm thay đổi sâu sắc mối tương quan giữa $x_1x_2$ và$x_i.$

(Gần) sản phẩm không đổi

Có thể $x_1x_2$ là hằng số (mà khi hồi quy bao gồm hằng số sẽ có vấn đề). Để tạo một ví dụ, chỉ cần tạo các giá trị khác 0 cho $x_1$ và xác định $x_2 = c/x_1.$ Sản phẩm của họ bằng $c$ khi xây dựng.

Bạn có thể làm nhiễu ví dụ này bằng cách thay đổi $c\ne 0$ thành một biến ngẫu nhiên với các giá trị gần với $c.$ Làm điều này sẽ giới thiệu một chút tương quan giữa $x_i$ và sản phẩm của họ, nhưng không nhiều. Ở đây, ví dụ, là một ví dụ nơi $x_1$ được rút ra từ một Gamma $(5)$ phân phối và $c$ có phân phối chuẩn với trung bình $1$ độ lệch và tiêu chuẩn chỉ là $1/100:$

Mặc dù $x_i$ có một mối tương quan của $\rho_{1\cdot 2}=-0.87$ trong ví dụ này, mối tương quan của họ với $x_1x_2$ chỉ $-0.06$ và $0.00.$

Do đó, mặc dù có thể có một chút vấn đề khi sử dụng cả $x_1$ và $x_2$ trong mô hình tuyến tính, bao gồm $x_1x_2$ không có khả năng làm trầm trọng thêm.

Sản phẩm không quan trọng

Để làm cho các phép tính rõ ràng hơn, chúng ta cũng có thể giả sử $x_i$ có phương sai đơn vị. Hãy để cho phương sai của $x_1x_2$ được $\tau^2$ và ghi $\rho_{12\cdot i}$ cho mối tương quan giữa $x_1x_2$ và $x_i.$ Hãy tính toán những gì xảy ra với các mối tương quan này khi các hằng số $c_i$ bị trừ khỏi $x_i.$Bởi vì $x_i$ đóng vai trò đối xứng hoàn hảo (chỉ cần hoán đổi " $1$ " cho " $2$"Trong các chỉ mục), nó đủ để tính toán mối tương quan với $x_1:$

$$\eqalign{ \operatorname{Cor}((x_1-c_1)(x_2-c_2), x_1) &= \frac{\operatorname{Cov} ((x_1-c_1)(x_2-c_2), x_1)}{\sqrt{\operatorname{Var}{(x_1-c_1)(x_2-c_2)}\operatorname{Var}{x_1}}} \\ &= \frac{\operatorname{Cov} (x_1x_2 - c_2x_1 - c_1x_2+c_1c_2, x_1)}{\sqrt{\operatorname{Var}(x_1x_2 - c_1x_2 - c_2x_1 + c_1c_2)}} \\ &= \frac{\tau\rho_{12\cdot 1}-c_2-c_1\rho_{1\cdot 2}}{\sqrt{\tau^2 - c_1\rho_{1\cdot 2} - c_2 - 2c_1\rho_{12\cdot 2} - 2c_2\rho_{12\cdot 1} + 2c_1c_2\rho_{1\cdot 2}}}.\tag{*} }$$

Không tương quan với sản phẩm

Bất kể mối tương quan giữa $x_i$ có thể là gì, chúng ta có thể chọn $(c_1,c_2)$ để làm cho sản phẩm không tương thích với $x_i.$

Từ phân tích đã nói ở trên, điều này sẽ đạt được khi tử số của $(*)$ bằng 0 với $i=1,2:$

$$\left\{\matrix{0 = \tau\rho_{12\cdot 1} -c_2 - c_1\rho_{1\cdot 2} \\ 0 = \tau\rho_{12\cdot 2} -c_1 - c_2\rho_{1\cdot 2}}\right.$$

Khi $\rho_{1\cdot 2}^2 \ne 1,$ hệ thống này của phương trình trong $(c_1,c_2)$ có một giải pháp độc đáo. Ở đây, ví dụ, là một ma trận phân tán của một tập dữ liệu của $100$ giá trị, trong đó $(x_i)$ có phân phối bình thường hai biến với tương quan $\rho_{1\cdot 2}=-0.99$ nhưng $x_i$ có không tương quan với $x_1x_2$ :

$x_1x_2$$x_i,$

$x_i$

Tương quan mạnh mẽ với sản phẩm

$(*)$$x_i$$x_i,$

Đây là một ví dụ dựa trên cái trước. Trong ví dụ này, $x_2$ đã được đổi thành $1 + x_2 / 100$ do đó $x_1x_2$ là xấp xỉ bằng $x_1,$ làm cho nó mạnh tương quan thuận với $x_1x_2.$ Thật vậy, $\rho_{12\cdot 1} = 0.999878$$\rho_{12\cdot 2} = -0.9898793$