Hồi quy kiểm duyệt: Tại sao chúng ta tính một thuật ngữ * sản phẩm * giữa các yếu tố dự đoán?

12

Các phân tích hồi quy được kiểm duyệt thường được sử dụng trong các ngành khoa học xã hội để đánh giá sự tương tác giữa hai hoặc nhiều yếu tố dự đoán / hiệp phương sai.

Thông thường, với hai biến dự đoán, mô hình sau được áp dụng:

$Y = β_0 + β_1*X + β_2*M + β_3*XM + e$

Lưu ý rằng kiểm tra kiểm duyệt được vận hành bởi thuật ngữ sản phẩm $XM$ (phép nhân giữa biến độc lập $X$ và biến điều hành $M$ ). Câu hỏi rất cơ bản của tôi là: tại sao chúng ta thực sự tính một thuật ngữ sản phẩm giữa $X$ và $M$ ? Tại sao không, ví dụ, sự khác biệt tuyệt đối $|M-X|$ hay chỉ là tổng $X + M$ ?

Thật thú vị, Kenny ám chỉ vấn đề này tại đây http://davidakenny.net/cm/modutions.htmlm bằng cách nói: "Như sẽ thấy, thử nghiệm kiểm duyệt không phải lúc nào cũng được vận hành bởi thuật ngữ sản phẩm XM" nhưng không có lời giải thích nào thêm . Một minh họa chính thức hoặc bằng chứng sẽ được khai sáng, tôi đoán / hy vọng.

regression interaction

— mẫu số
nguồn

12

"Người điều hành" ảnh hưởng đến các hệ số hồi quy của $Y$ so với $X$ : chúng có thể thay đổi khi giá trị của người điều hành thay đổi. Do đó, trong tổng quát, mô hình hồi quy đơn giản của kiểm duyệt là

E (Y) = α (M) + β (M) X

$\mathbb{E}(Y) = \alpha(M) + \beta(M)X$

nơi $\alpha$ và $\beta$ là các chức năng của người điều hành $M$ chứ không phải là hằng số không bị ảnh hưởng bởi giá trị của $M$ .

Với tinh thần tương tự, trong đó hồi quy được xây dựng trên một xấp xỉ tuyến tính của mối quan hệ giữa $X$ và $Y$ , chúng ta có thể hy vọng rằng cả $\alpha$ và $\beta$ là - ít nhất là khoảng - hàm tuyến tính của $M$ trong suốt loạt các giá trị của $M$ trong dữ liệu:

E (Y) = α 0 + α 1 M + O (M 2) + (β 0 + β 1 M + O (M 2)) X = α 0 + β 0 X + α 1 M + β 1 M X + O (M 2) + O (M 2) X .

$\eqalign{ \mathbb{E}(Y) &= \alpha_0 + \alpha_1 M + O(M^2) + (\beta_0 + \beta_1 M + O(M^2))X \\ &= \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + O(M^2) + O(M^2)X. }$

Việc bỏ các thuật ngữ phi tuyến ("big-O"), với hy vọng chúng quá nhỏ để tạo ra mô hình tương tác nhân (song tuyến tính)

E (Y) = α 0 + β 0 X + α 1 M + β 1 M X . (1)

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX.\tag{1}$

Đạo hàm này gợi ý một cách giải thích thú vị về các hệ số: là tốc độ thay đổi giao thoa trong khi là tốc độ thay đổi độ dốc . ( và là độ dốc và đánh chặn khi là (chính thức) thiết lập để không.) là hệ số của "hạn sản phẩm" . Nó trả lời câu hỏi theo cách này: $\alpha_1$ $M$ $\beta_1$ $M$ $\alpha_0$ $\beta_0$ $M$ $\beta_1$ $MX$

Chúng tôi mô hình điều độ với một thuật ngữ sản phẩm $MX$ khi chúng ta mong đợi người điều hành $M$ sẽ (xấp xỉ trung bình) có mối quan hệ tuyến tính với độ dốc của $Y$ vs $X$ .

Điều đáng quan tâm là sự phát sinh này chỉ ra cách mở rộng tự nhiên của mô hình, điều này có thể gợi ý các cách để kiểm tra mức độ phù hợp. Nếu bạn không quan tâm đến tính phi tuyến tính trong $X$ bạn có thể biết hoặc cho rằng mô hình $(1)$ là chính xác - thì bạn sẽ muốn mở rộng mô hình để phù hợp với các điều khoản đã bị loại bỏ:

E (Y) = α 0 + β 0 X + α 1 M + β 1 M X + α 2 M 2 + β 2 M 2 X .

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + \alpha_2M^2 + \beta_2 M^2X.$

Kiểm tra giả thuyết đánh giá lại sự tốt lành của sự phù hợp. Ước tính và có thể chỉ ra những gì mô hình cách có thể cần phải được mở rộng: kết hợp phi tuyến trong (khi ) hoặc một mối quan hệ cách kiểm duyệt phức tạp hơn (khi ) hoặc có thể là cả hai. (Lưu ý rằng thử nghiệm này sẽ không được đề xuất bởi việc mở rộng chuỗi lũy thừa của hàm chung $\alpha_2=\beta_2=0$ $\alpha_2$ $\beta_2$ $(1)$ $M$ $\alpha_2 \ne 0$ $\beta_2 \ne 0$ .) $f(X,M)$

Cuối cùng, nếu bạn phát hiện ra rằng hệ số tương tác không khác biệt đáng kể so với 0, nhưng sự phù hợp là không tuyến tính (bằng chứng là giá trị đáng kể của ), thì bạn sẽ kết luận (a) có kiểm duyệt nhưng ( b) nó không được mô hình hóa bởi một hạn, nhưng thay vào đó bằng một số thuật ngữ bậc cao bắt đầu với . Đây có thể là loại hiện tượng mà Kenny đang đề cập. $\beta_1$ $\beta_2$ $MX$ $M^2X$

— whuber
nguồn

8

Nếu bạn sử dụng tổng số các yếu tố dự đoán để mô hình hóa sự tương tác của chúng, phương trình của bạn sẽ là:

Y = = = = β 0 + β 1 X + β 2 M + β 3 (X + M) + e β 0 + β 1 X + β 2 M + β 3 X + β 3 M + e β 0 + (β 1 + β 3) X + (β 2 + β 3) M + e β 0 + β' 1 X + β' 2 M + e

$\begin{eqnarray} Y &=& \beta_0 + \beta_1X + \beta_2M + \beta_3(X + M) + e\\ &=& \beta_0 + \beta_1X + \beta_2M + \beta_3X + \beta_3M + e\\ &=& \beta_0 + (\beta_1 + \beta_3)X + (\beta_2 + \beta_3)M + e \\ &=& \beta_0 + \beta_1'X + \beta_2'M + e \end{eqnarray}$

nơi và . Do đó, mô hình của bạn sẽ không có tương tác nào cả. Rõ ràng, đây không phải là trường hợp với sản phẩm. $\beta_1'=\beta_1+\beta_3$ $\beta_2'=\beta_2+\beta_3$

Recall the definition of the absolute value:

| X - M | = {X - M, M - X, X \geq M X < M

$|X-M| = \begin{cases} X-M, & X \geq M\\ M-X, & X < M \end{cases}$

Although you can reduce the model $\beta_0 + \beta_1X + \beta_2M + \beta_3|X-M| + e$ to the one with only $X$ and $M$ terms, using the def. of $|X-M|$ , the absolute value is a "specialized form of moderation that is unlikely to be realistic in many situations", as pointed out in the comment below.

— Milos
nguồn

1

Actually, including an

|X−M| $|X-M|$ term is demonstrably a form of moderation: the value of

M $M$ changes

β2 $\beta_2$ . It is, however, a limited, specialized form of moderation that is unlikely to be realistic in many situations. It is not correct to say that such a model has "only main effects."

— whuber

1

Yes, you are right,

|X−M| $|X-M|$ is a form of moderation, I got carried away by transformation and will edit the answer accordingly. Thanks for pointing this out.

— Milos

@Milos: Your example about the sum of predictors was an eye-opener, a somewhat embarrassing one, I must say because I should have already realized the mathematical implications ;) whuber: As far as I understand it, the absolute value is only useful when both predictor variables are measured in same units (e.g. two psychometric tests, using the same metric, such as z-scores or T-scores). The absolute difference between X and M is a useful metric, although not the only possible one (i.e. the prodcut term could also be used).

— denominator

6

You won't find a formal proof for using multiplicative moderator. You can support this approach by other means. For instance, look at the Taylor-MacLaurin expansion of a function $f(X,M)$ :

f (X, M) = f (0, 0) + \partial f ( 0 , 0 ) \partial T T + \partial f ( 0 , 0 ) \partial M M + \partial 2 f ( 0 , 0 ) \partial T \partial M T M + \partial 2 f ( 0 , 0 ) 2 \partial T 2 T 2 + \partial 2 f ( 0 , 0 ) 2 \partial M 2 M 2 \dots

$f(X,M)=f(0,0)+\frac{\partial f(0,0)}{\partial T} T+\frac{\partial f(0,0)}{\partial M} M+\frac{\partial^2 f(0,0)}{\partial T\partial M} TM +\frac{\partial^2 f(0,0)}{2\partial T^2} T^2 +\frac{\partial^2 f(0,0)}{2\partial M^2} M^2\dots$

If you plug a function of this form $f(X,M)=\beta_0+\beta_XX+\beta_MM+\beta_{XM}XM$ into the Taylor equation, you get this:

f (X, M) = β 0 + β X X + β M M + β X M X M

$f(X,M)=\beta_0+\beta_XX +\beta_MM +\beta_{XM}XM$

So, the rationale here is that this particular multiplicative form of the moderation is basically a second order Taylor approximation of a generic moderation relationship $f(X,M)$

UPDATE: if you include quadratic terms, as @whuber suggested then this will happen:

g (X, M) = b 0 + b X X + b M M + b X M X M + b X 2 X 2 + b M 2 M 2

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM+b_{X2}X^2 +b_{M2}M^2$ plug this into Taylor:

g (X, M) = b 0 + b X X + b M M + b X M X M + b X 2 X 2 + b M 2 M 2

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM +b_{X2}X^2 +b_{M2}M^2$

This shows that our new model $g(X,M)$ with quadratic terms corresponds to a full second order Taylor approximation, unlike the original moderation model $f(X,M)$ .

— Aksakal
nguồn

Since the basis of your argument is the Taylor expansion, why did you not also include the other two quadratic terms

X2 $X^2$ and

M2 $M^2$ ? True, they are not forms of moderation, but their inclusion in the model usually will affect $\beta_{XM}$ .

— whuber

@whuber, I decided to keep the post short - that's the main reason. Otherwise, I started writing about my preference to include second order terms whenever you have a cross term, then cut it out.

— Aksakal