Cách chính xác để kiểm tra sự khác biệt đáng kể giữa các hệ số là gì?

18

Tôi hy vọng ai đó có thể giúp làm rõ một điểm gây nhầm lẫn cho tôi. Nói rằng tôi muốn kiểm tra xem 2 bộ hệ số hồi quy có khác biệt đáng kể với nhau hay không, với thiết lập sau:

$y_i = \alpha + \beta x_i + \epsilon_i$ , với 5 biến độc lập.
2 nhóm, với kích thước gần bằng nhau (mặc dù điều này có thể thay đổi) $n_1, n_2$
Hàng ngàn hồi quy tương tự sẽ được thực hiện đồng thời, do đó một số loại điều chỉnh giả thuyết phải được thực hiện.

Một cách tiếp cận được đề xuất với tôi là sử dụng Z-test:

$Z = \frac{b_1 - b_2}{\sqrt(SEb_1^2 + SEb_2^2)}$

Một đề xuất khác mà tôi đã thấy trên bảng này là giới thiệu một biến giả để nhóm và viết lại mô hình như sau:

$y_i = \alpha + \beta x_i + \delta(x_ig_i) + \epsilon_i$ , trong đó là biến nhóm, được mã hóa là 0, 1. $g$

Câu hỏi của tôi là, hai cách tiếp cận này khác nhau như thế nào (ví dụ như các giả định khác nhau được thực hiện, tính linh hoạt)? Là cái này thích hợp hơn cái kia? Tôi nghi ngờ điều này là khá cơ bản, nhưng bất kỳ sự làm rõ nào sẽ được đánh giá rất cao.

regression hypothesis-testing multiple-regression

— tiền mặt
nguồn

Tôi tin rằng các câu trả lời và nhận xét cho một câu hỏi tương tự có thể cung cấp một số giải thích mà bạn tìm kiếm.

— whuber

Cảm ơn bạn whuber. Tôi đã quen với câu trả lời đó. Từ các cuộc thảo luận bên dưới câu trả lời được chấp nhận (và ý kiến của bạn ở đó) tôi đã để lại ấn tượng rằng việc so sánh các hệ số của 2 sự phù hợp riêng biệt là không phù hợp. Là một thử nghiệm z được áp dụng cho các hệ số từ các khớp riêng biệt không chính xác hay là mã hóa biến giả đơn giản là dễ dàng hơn và cung cấp một câu trả lời tương đương?

— tiền mặt

1

Vui lòng xem đoạn cuối của câu trả lời của tôi ("Giới hạn chính ..."). Thử nghiệm Z là hợp lệ giả sử

lớn (nếu không sử dụng tại thử nghiệm) và độ lệch chuẩn ước tính

không quá khác biệt với nhau. Không có cách tiếp cận nào là tốt nhất khi độ lệch chuẩn khác nhau rất nhiều (đại khái, nhiều hơn tỷ lệ 3: 1).

n_{i}

$n_i$

S E b_{i}

$SEb_i$

— whuber

13

Hai cách tiếp cận khác nhau.

Đặt sai số chuẩn ước tính của hai hồi quy là và . Sau đó, vì hồi quy kết hợp (với tất cả các tương tác giả hệ số) phù hợp với cùng hệ số, nên nó có cùng số dư, do đó, lỗi tiêu chuẩn của nó có thể được tính là $s_1$ $s_2$

S = = \sqrt{\frac{(n_{1} - p) S_{1}^{2} + (n_{2} - p) S_{2}^{2})}{n_{1} + n_{2} - 2 p}} .

$s = \sqrt{\frac{(n_1-p) s_1^2 + (n_2-p) s_2^2)}{n_1 + n_2 - 2 p}}.$

$p$ $6$

$b_1$ $b_2$ $b$

S E (b) = = S \sqrt{(S E (b_{1}) / S_{1})^{2} + (S E (b_{2}) / S_{2})^{2}} .

$SE(b) = s \sqrt{(SE(b_1)/s_1)^2 + (SE(b_2)/s_2)^2}.$

$s$

Giả định được thực hiện bởi hồi quy kết hợp là phương sai của phần dư về cơ bản là giống nhau trong cả hai hồi quy riêng biệt. Tuy nhiên, nếu đây không phải là trường hợp, thử nghiệm z sẽ không tốt, (trừ khi kích thước mẫu lớn): bạn sẽ muốn sử dụng thử nghiệm CABF hoặc thử nghiệm t Welch-Satterthwaite.

— whuber
nguồn

9

Cách trực tiếp nhất để kiểm tra sự khác biệt về hệ số giữa hai nhóm là đưa thuật ngữ tương tác vào hồi quy của bạn, gần như là những gì bạn mô tả trong câu hỏi của mình. Mô hình bạn sẽ chạy như sau:

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

$t$ $H_0: \delta = 0$ $g_i = 0$

$y_i = \alpha + \beta x_i + \varepsilon_i$

$g_i = 1$

$y_i = (\alpha + \gamma) + (\beta + \delta) x_i + \varepsilon_i$

$\delta$

— Matt Blackwell
nguồn

Cảm ơn vì đã sửa mô hình (Tôi tin rằng phiên bản của tôi ở trên chỉ đơn giản là thực thi rằng việc chặn giống nhau trong cả hai nhóm ...). Hơn nữa, điều này sau đó có tương đương với bài kiểm tra z mà tôi đã đăng ở trên không?

— tiền mặt

y_{i} = α + β x_{i} + γ g_{i} + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \varepsilon_i$

y_{i} = α + β x_{i} + γ g_{i} + δ (x_{i} \times g_{i}) + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

@ matt-blackwell về mặt khái niệm này có giống như phân tầng mô hình theo từng giá trị của g không? (ví dụ: b sẽ là hệ số của x khi g = 0 và beta + delta khi g = 1) Mặc dù tôi đánh giá cao việc phân tầng không cho phép so sánh thống kê.

— bobmcpop