Kiểm tra sự bằng nhau của các hệ số từ hai hồi quy khác nhau

Đây có vẻ là một vấn đề cơ bản, nhưng tôi chỉ nhận ra rằng tôi thực sự không biết cách kiểm tra sự bằng nhau của các hệ số từ hai hồi quy khác nhau. Bất cứ ai có thể làm sáng tỏ về điều này?

Chính thức hơn, giả sử tôi đã chạy hai hồi quy sau: và trong đó đề cập đến ma trận thiết kế hồi quy và cho vectơ hệ số hồi quy . Lưu ý rằng và có khả năng rất khác nhau, với các kích thước khác nhau, v.v. Tôi quan tâm đến việc có hay không .

y_{1} = X_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

y_{2} = X_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

Nếu những điều này đến từ cùng một hồi quy, điều này sẽ là tầm thường. Nhưng vì chúng đến từ những người khác nhau, tôi không chắc chắn làm thế nào để làm điều đó. Có ai có một ý tưởng hoặc có thể cho tôi một số gợi ý?

Vấn đề của tôi một cách chi tiết: Trực giác đầu tiên của tôi là xem xét các khoảng tin cậy và nếu chúng trùng nhau, thì tôi sẽ nói rằng về cơ bản chúng giống nhau. Tuy nhiên, quy trình này không đi kèm với kích thước chính xác của thử nghiệm (nghĩa là mỗi khoảng tin cậy riêng lẻ có , nhưng nhìn vào chúng sẽ không có cùng xác suất). Trực giác "thứ hai" của tôi là tiến hành kiểm tra t bình thường. Đó là, lấy $\alpha=0.05$

\frac{β_{11} - β_{21}}{s d (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

trong đó được coi là giá trị của giả thuyết null của tôi. Tuy nhiên, điều này không tính đến độ không đảm bảo ước tính của và câu trả lời có thể phụ thuộc vào thứ tự của hồi quy (mà tôi gọi là 1 và 2). $\beta_{21}$ $\beta_{21}$

Ý tưởng thứ ba của tôi là thực hiện nó như trong một thử nghiệm tiêu chuẩn cho sự bằng nhau của hai hệ số từ cùng một hồi quy, đó là lấy

\frac{β_{11} - β_{21}}{s d (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

Các biến chứng phát sinh do thực tế là cả hai đều đến từ các hồi quy khác nhau. Lưu ý rằng

V a r (β_{11} - β_{21}) = V a r (β_{11}) + V a r (β_{21}) - 2 C o v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ nhưng kể từ chúng đến từ các hồi quy khác nhau, làm thế nào tôi có được ?

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

Điều này dẫn tôi đến câu hỏi này ở đây. Đây phải là một quy trình chuẩn / kiểm tra tiêu chuẩn, nhưng tôi không tìm thấy bất cứ điều gì đủ tương tự với vấn đề này. Vì vậy, nếu bất cứ ai có thể chỉ cho tôi các thủ tục chính xác, tôi sẽ rất biết ơn!

hypothesis-testing inference

— cà phê
nguồn

Điều này dường như liên quan đến mô hình phương trình cấu trúc / simultanous. Một cách để giải quyết vấn đề này là khớp cả hai phương trình một cách đồng thời, ví dụ như với khả năng tối đa, và sau đó sử dụng phép thử tỷ lệ khả năng của một mô hình bị ràng buộc (mô hình tham số bằng nhau) đối với mô hình không bị ràng buộc. Thực tế điều này có thể được thực hiện với phần mềm SEM (Mplus, lavaan, v.v.)

— tomka

Bạn có biết về Hồi quy dường như không liên quan (SUR) không?

— Dimitriy V. Masterov

Tôi nghĩ rằng câu hỏi tăng của bạn, tức là làm thế nào để có được hệ số của cả hai hệ số, được giải quyết bằng SEM, nó sẽ cung cấp cho bạn ma trận var-cov của tất cả các hệ số. Sau đó, bạn có thể sử dụng thử nghiệm Wald theo cách bạn đã đề xuất thay vì thử nghiệm LRT. Hơn nữa, bạn cũng có thể sử dụng lấy mẫu lại / bootstrap, có thể trực tiếp hơn.

— tomka

Vâng, bạn đã đúng về điều đó, @tomka. Trong một mô hình SUR (mà bạn có thể nói một cách lỏng lẻo hãy xem xét trường hợp đặc biệt của các mô hình SEM), tôi có thể có được bài kiểm tra phù hợp. Cảm ơn đã chỉ cho tôi theo hướng đó! Tôi nghĩ rằng tôi đã không nghĩ về nó bởi vì nó có vẻ hơi giống như bắn một con chim sẻ bằng súng thần công, nhưng tôi thực sự không thể nghĩ ra cách nào tốt hơn. Nếu bạn viết lên một câu trả lời, tôi sẽ đánh dấu nó là chính xác. Nếu không, tôi sẽ tự viết nó lên sớm, với một lời giải thích lý thuyết nhanh chóng và có khả năng với một ví dụ.

— coffeinjunky

SUR là khá dễ dàng để thực hiện. Đây là một ví dụ với Stata . Với R, bạn muốn systemfit .

— Dimitriy V. Masterov

Câu trả lời:

Mặc dù đây không phải là một phân tích phổ biến, nhưng nó thực sự là một điều đáng quan tâm. Câu trả lời được chấp nhận phù hợp với cách bạn hỏi câu hỏi của bạn, nhưng tôi sẽ cung cấp một kỹ thuật được chấp nhận hợp lý khác có thể tương đương hoặc có thể không tương đương (Tôi sẽ để nó tốt hơn để bình luận về điều đó).

Cách tiếp cận này là sử dụng thử nghiệm Z sau:

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

Trong đó là lỗi tiêu chuẩn của . $SE\beta$ $\beta$

Phương trình này được cung cấp bởi Clogg, CC, Petkova, E., & Haritou, A. (1995). Phương pháp thống kê để so sánh hệ số hồi quy giữa các mô hình. Tạp chí Xã hội học Hoa Kỳ , 100 (5), 1261-1293. và được trích dẫn bởi P Parentoster, R., Brame, R., Mazerolle, P., & Piquero, A. (1998). Sử dụng kiểm tra thống kê chính xác cho các hệ số hồi quy. Tội phạm học , 36 (4), 859-866. phương trình 4, có sẵn miễn phí của một tường. Tôi đã điều chỉnh công thức của Peternoster để sử dụng thay vì $\beta$ $b$ bởi vì có thể bạn có thể quan tâm đến các DV khác nhau vì một số lý do khủng khiếp và trí nhớ của tôi về Clogg et al. đó là công thức của họ được sử dụng . Tôi cũng nhớ kiểm tra chéo công thức này với Cohen, Cohen, West và Aiken, và gốc rễ của cùng một suy nghĩ có thể được tìm thấy ở đó trong khoảng tin cậy của sự khác biệt giữa các hệ số, phương trình 2.8.6, pg 46-47. $\beta$

— russellpierce
nguồn

Xem thêm: stats.stackexchange.com/questions/55501/ từ

— russellpierce

Câu trả lời tuyệt vời! Câu hỏi tiếp theo: điều này cũng áp dụng cho các kết hợp tuyến tính của từ Mô hình 1 và từ Mô hình 2? Giống như,

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{A β_{1} - B β_{2}}{\sqrt{(SE A β_{1})^{2} + (SE B β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

— Sibbs Cờ bạc

Ngoài ra tôi nhận thấy bài báo thảo luận về trường hợp một mô hình được lồng vào nhau và mô hình của hai mô hình giống nhau. Nếu hai điều kiện này không được đáp ứng thì sao? Thay vào đó, tôi có ma trận thiết kế của hai mô hình giống nhau, nhưng chúng có DV khác nhau. Công thức này vẫn được áp dụng? Cảm ơn rất nhiều!

— Đánh bạc Sibbs

@SibbsGambled: Bạn có thể muốn đặt câu hỏi đó theo cách riêng của mình để thu hút sự chú ý hơn.

— russellpierce

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Đối với những người có câu hỏi tương tự, hãy để tôi cung cấp một phác thảo đơn giản của câu trả lời.

$y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

Điều này sẽ dẫn đến một ma trận phương sai hiệp phương sai cho phép kiểm tra sự bằng nhau của hai hệ số.

— cà phê
nguồn

Tôi đã thực hiện theo cách bạn đề xuất và so sánh nó với cách trên. Tôi tìm thấy sự khác biệt chính là liệu giả định rằng phương sai lỗi có giống nhau hay không. Cách của bạn giả định rằng phương sai lỗi là như nhau và cách trên không giả định nó.

— KH Kim

Điều này làm việc tốt cho tôi. Trong Stata, tôi đã làm một cái gì đó như: expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); Sử dụng các lỗi tiêu chuẩn phân cụm cho thực tế là e1 và e2 không độc lập cho cùng một quan sát sau khi xếp chồng tập dữ liệu.

— wkschwartz

$Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
$covar(\beta_1,\beta_2) \neq 0$
(Clogg, CC, Petkova, E., & Haritou, A. (1995). Phương pháp thống kê để so sánh hệ số hồi quy giữa các mô hình. Tạp chí Xã hội học Hoa Kỳ, 100 (5), 1261-1293.) Trình bày câu trả lời trong trường hợp đặc biệt của các phương trình lồng nhau (nghĩa là để có phương trình thứ hai, hãy xem xét phương trình thứ nhất và thêm một vài biến giải thích) Họ nói rằng nó rất dễ thực hiện.
Nếu tôi hiểu rõ về nó, trong trường hợp đặc biệt này, một bài kiểm tra của Haussman cũng có thể được thực hiện. Sự khác biệt chính là thử nghiệm của họ coi là đúng phương trình thứ hai (đầy đủ), trong khi thử nghiệm Haussman coi là đúng phương trình thứ nhất.
Lưu ý rằng Clogg et al (1995) không phù hợp với dữ liệu bảng. Nhưng thử nghiệm của họ đã được tổng quát hóa bởi (Yan, J., Aseltine Jr, RH, & Harel, O. (2013). So sánh các hệ số hồi quy giữa các mô hình tuyến tính lồng nhau cho dữ liệu phân cụm với các phương trình ước lượng tổng quát. Tạp chí Thống kê Giáo dục và Hành vi, 38 (2), 172-189.) Với gói được cung cấp trong R: geepack Xem: https://www.jstor.org/urdy/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234

Và (đối với gói R): https://cran.r-project.org/web/packages/geepack/index.html

— Alexandre Cazenave-Lacroutz
nguồn