So sánh hệ số hồi quy logistic giữa các mô hình?

11

Tôi đã phát triển một mô hình logit để áp dụng cho sáu bộ dữ liệu cắt ngang khác nhau. Điều tôi đang cố gắng khám phá là liệu có những thay đổi về tác động thực sự của một biến độc lập (IV) nhất định đối với biến phụ thuộc (DV) kiểm soát các giải thích khác tại các thời điểm khác nhau và theo thời gian hay không.

Câu hỏi của tôi là:

Làm cách nào để đánh giá kích thước tăng / giảm trong mối liên hệ giữa IV và DV?
Tôi có thể chỉ cần nhìn vào các cường độ (kích thước) khác nhau của các hệ số trên các mô hình hay tôi cần phải trải qua một số quy trình khác?
Nếu tôi cần phải làm một cái gì đó khác, nó là gì và nó có thể được thực hiện / làm thế nào để tôi làm điều đó trong SPSS?

Ngoài ra, trong một mô hình duy nhất,
Tôi có thể so sánh kích thước tương đối của các biến độc lập dựa trên điểm số không đạt tiêu chuẩn nếu tất cả được mã hóa 0-1 hoặc tôi có cần chuyển đổi chúng thành điểm số chuẩn không?
Có vấn đề liên quan đến điểm chuẩn?

logistic spss

— Ejs
nguồn

2

Bài viết này có thể được quan tâm, dx.doi.org/10.1093/esr/jcp006 , rõ ràng việc so sánh hiệu ứng giữa các mô hình Logistic phức tạp hơn đáng kể so với trường hợp OLS!

— Andy W

13

Tôi sẽ chủ yếu tập trung vào ba câu hỏi đầu tiên của bạn. Câu trả lời ngắn gọn là: (1) bạn cần so sánh ảnh hưởng của IV với DV trong từng khoảng thời gian nhưng (2) chỉ so sánh độ lớn có thể dẫn đến kết luận sai và (3) có nhiều cách để làm điều đó nhưng không có sự đồng thuận về cái nào là đúng

Dưới đây tôi mô tả lý do tại sao bạn không thể đơn giản so sánh cường độ hệ số và chỉ cho bạn một số giải pháp đã được nghĩ đến cho đến nay.

Theo Allison (1999), không giống như OLS, các hệ số hồi quy logistic bị ảnh hưởng bởi sự không đồng nhất không quan sát được ngay cả khi sự không đồng nhất như vậy không liên quan đến biến quan tâm.

Khi bạn phù hợp với hồi quy logistic như:

(1)

\ln (\frac{1}{1 - p_{i}}) = β_{0} + β_{1} x_{1 i}

$\ln\bigg(\frac{1}{1-p_i}\bigg) = \beta_{0} + \beta_{1}x_{1i}$

Thực tế, bạn đang điều chỉnh một phương trình dự đoán giá trị của biến tiềm ẩn đại diện cho xu hướng cơ bản của mỗi quan sát để giả sử giá trị trong biến phụ thuộc nhị phân, điều gì xảy ra nếu vượt quá ngưỡng nhất định. Phương trình cho điều đó là (Williams, 2009): $y^*$ $1$ $y^*$

(2)

y^{*} = α_{0} + α_{1} x_{1 i} + σ ε

$y^* =\alpha_{0} + \alpha_{1}x_{1i} + \sigma \varepsilon$

Thuật ngữ được coi là độc lập với các thuật ngữ khác và tuân theo phân phối logistic - hoặc phân phối bình thường trong trường hợp probit và phân phối logistic trong trường hợp log-log bổ sung và phân phối cau chuốt trong trường hợp cauchit. $\varepsilon$

Theo Williams (2009), các hệ số trong phương trình 2 có liên quan đến các hệ số trong phương trình 1 đến: $\alpha$ $\beta$

(3)

β_{j} = \frac{α_{j}}{σ} j = 1, . . ., J .

$\beta_{j} = \frac{\alpha_{j}}{\sigma}\;\;j=1,...,J.$

Trong các phương trình 2 và 3, là hệ số tỷ lệ của biến thể không quan sát được và chúng ta có thể thấy rằng kích thước của các hệ số ước tính phụ thuộc vào , không được quan sát. Dựa vào đó, Allison (1999), Williams (2009) và Tâm trạng (2009), trong số những người khác, cho rằng bạn không thể so sánh một cách ngây thơ các hệ số giữa các mô hình logistic được ước tính cho các nhóm, quốc gia hoặc thời kỳ khác nhau. $\sigma$ $\beta$ $\sigma$

Điều này là do các so sánh có thể đưa ra kết luận không chính xác nếu sự khác biệt không quan sát được khác nhau giữa các nhóm, quốc gia hoặc thời kỳ. Cả hai so sánh sử dụng các mô hình khác nhau và sử dụng các thuật ngữ tương tác trong cùng một mô hình đều gặp phải vấn đề này. Bên cạnh logit, điều này cũng áp dụng cho probit anh em họ, clog-log, cauchit và, bằng cách mở rộng, cho các mô hình nguy hiểm thời gian riêng biệt được ước tính bằng cách sử dụng các chức năng liên kết này. Các mô hình logit được đặt hàng cũng bị ảnh hưởng bởi nó.

Williams (2009) lập luận rằng giải pháp là mô hình hóa biến thể không quan sát được thông qua mô hình lựa chọn không đồng nhất (hay còn gọi là mô hình quy mô vị trí) và cung cấp bổ sung Stata cho yêu oglm cầu đó (Williams 2010). Trong R, các mô hình lựa chọn không đồng nhất có thể phù hợp với hetglm()chức năng của glmxgói, có sẵn thông qua CRAN. Cả hai chương trình đều rất dễ sử dụng. Cuối cùng, Williams (2009) đề cập đến PLUMthói quen của SPSS để phù hợp với các mô hình này, nhưng tôi chưa bao giờ sử dụng nó và không thể nhận xét mức độ dễ sử dụng của nó.

Tuy nhiên, có ít nhất một bài báo làm việc cho thấy rằng so sánh sử dụng các mô hình lựa chọn không đồng nhất thậm chí có thể sai lệch hơn nếu phương trình phương sai bị sai hoặc có lỗi đo lường.

Tâm trạng (2010) liệt kê các giải pháp khác không liên quan đến việc mô hình hóa phương sai, nhưng sử dụng so sánh các thay đổi xác suất dự đoán.

Rõ ràng đó là một vấn đề không được giải quyết và tôi thường thấy các bài báo trong các hội nghị của lĩnh vực của tôi (Xã hội học) đưa ra các giải pháp khác nhau cho nó. Tôi sẽ khuyên bạn nên xem những người trong lĩnh vực của bạn làm gì và sau đó quyết định cách đối phó với nó.

Người giới thiệu

Allison, PD (1999). So sánh các hệ số Logit và Probit giữa các nhóm. Phương pháp & nghiên cứu xã hội học, 28 (2), 186 Gian208.
Tâm trạng, C. (2010). Hồi quy logistic: Tại sao chúng ta không thể làm những gì chúng ta nghĩ chúng ta có thể làm và những gì chúng ta có thể làm về nó. Tạp chí Xã hội học Châu Âu, 26 (1), 67 bóng82.
Williams, R. (2009). Sử dụng các mô hình lựa chọn không đồng nhất để so sánh các hệ số logit và probit giữa các nhóm. Phương pháp & nghiên cứu xã hội học, 37 (4), 531 Hình559.
Williams, R. (2010). Lắp mô hình lựa chọn không đồng nhất với oglm. Tạp chí Stata, 10 (4), 540 trừ567.

— Kenji
nguồn

Tôi đang cố gắng thực hiện giải pháp Williams (2009) trong R và dường như các phiên bản mới của gói glmx không còn chức năng hetprob () nữa. Chỉ muốn kiểm tra nếu bạn biết bất kỳ lựa chọn thay thế cho điều này?

— AliCivil

1

Tôi đã không sử dụng glmx trong một thời gian và không biết rằng nó đã thay đổi. Bây giờ nó có sẵn thông qua CRAN, và hàm được sử dụng cho probit hereroskedastic được gọi là hetglm (), rõ ràng. Tôi sẽ cập nhật câu trả lời này để phản ánh điều này sau này (đó là về giờ đi ngủ ở đây). Tôi hy vọng rằng điều này sẽ giúp cho bây giờ.

— Kenji

3

Có thay đổi trên các tập dữ liệu? Tôi có thể trả lời mà không cần xem dữ liệu! Đúng. Có. Chúng lớn cỡ nào? Đó là chìa khóa. Đối với tôi, cách để nhìn là bằng cách nhìn. Bạn sẽ có tỷ lệ cược cho từng biến độc lập cho mỗi bộ dữ liệu - chúng có khác nhau theo cách mọi người sẽ thấy thú vị không? Bây giờ, đúng là mỗi lỗi sẽ có một lỗi tiêu chuẩn, v.v., và có lẽ có nhiều cách để xem liệu chúng có khác biệt đáng kể về mặt thống kê với nhau hay không, nhưng đó có thực sự là một câu hỏi thú vị? Nếu đúng như vậy, thì một cách để kiểm tra nó dễ dàng với phần mềm sẽ là kết hợp tất cả các nghiên cứu và bao gồm "nghiên cứu" như một biến độc lập khác. Sau đó, bạn thậm chí có thể kiểm tra các tương tác, nếu bạn muốn. Cho dù bạn muốn làm điều này phụ thuộc vào câu hỏi thực chất của bạn.

Để so sánh các biến trong một mô hình, vấn đề chính với điểm số được tiêu chuẩn hóa là chúng được tiêu chuẩn hóa trên mẫu cụ thể của bạn. Vì vậy, các ước tính tham số và như vậy sau đó là về độ lệch chuẩn của các biến trong mẫu cụ thể của bạn. Ngay cả khi mẫu của bạn thực sự là một mẫu ngẫu nhiên từ một số người, nó sẽ có (hơi) độ lệch chuẩn khác với các mẫu ngẫu nhiên khác. Điều này làm cho mọi thứ khó hiểu.

Vấn đề còn lại là câu hỏi về "kích thước tương đối" thậm chí có nghĩa là gì. Nếu IV của bạn là những thứ được hiểu rõ, bạn có thể so sánh các OR trên các phạm vi có nghĩa là một cái gì đó.

— Peter Flom - Tái lập Monica
nguồn

Điều đó hữu ích, cảm ơn Peter. Lý do tôi hỏi câu hỏi đầu tiên là vì tôi đã thấy chính xác điều đó - so sánh các hệ số giữa các mô hình trong một mẫu và so sánh giữa các mô hình từ các mẫu khác nhau - trong các bài báo được giới thiệu. Tôi không cảm thấy đó là cách tiếp cận đúng đắn, và hiển nhiên, tôi đúng. Về các chi tiết kỹ thuật, tôi không thể ước tính một mô hình trên tất cả sáu mẫu và thuật ngữ tương tác giữa bộ dự đoán chính mà tôi muốn so sánh và một biến chỉ định từng mẫu (biểu thị một khoảng thời gian khác nhau)? Có phải đó là những gì bạn đã nói? Tôi có cần một biến cho mỗi s không

— Ejs

Xin chào @ejs. Bạn sẽ cần mã hóa "mẫu" giống như bất kỳ biến phân loại nào khác - mã hóa giả hoặc mã hóa hiệu ứng hoặc bất cứ thứ gì.

— Peter Flom - Tái lập Monica

Về tương tác .... có, chúng có thể khó diễn giải. Tôi thích một cách tiếp cận đồ họa để hiển thị những gì họ có nghĩa.

— Peter Flom - Tái lập Monica

3

Guilherme đang ở trên tiền ở đây. Mặc dù các phản hồi khác là hữu ích, xin lưu ý rằng hồi quy logistic (và tất cả hồi quy phi tuyến tính như Poisson, đối với vấn đề đó) về cơ bản khác với hồi quy tuyến tính. Có thể có vấn đề nghiêm trọng với hệ số tỷ lệ logit khi chạy cùng một phân tích trên sáu bộ dữ liệu khác nhau và sau đó chạy phân tích đó trên bộ dữ liệu kết hợp. Thay đổi về hệ số có thể không liên quan gì đến sự khác biệt có ý nghĩa (ngay cả khi có ý nghĩa thống kê hoặc quan trọng thực sự). Họ có thể có mọi thứ để làm với sự không đồng nhất không quan sát được trên các mẫu. Bạn hoàn toàn phải kiểm tra cho điều đó. Nhiều nhà nghiên cứu (nếu không phải hầu hết) trong các lĩnh vực khoa học xã hội và chính sách bỏ qua điều này. Guilherme đưa ra các bài báo chuyên đề về điều này mà tôi khuyên mọi người nên xem. Đề nghị của Peters là thiết thực, nhưng chỉ đơn giản là mã hóa một biến giả cho mẫu, dữ liệu đến từ sẽ không giải quyết được sự không đồng nhất này trong hệ số tỷ lệ. Bạn có thể làm điều đó trong hồi quy tuyến tính và tính không đồng nhất không nên ảnh hưởng đến các hệ số của bạn, nhưng ở đây có thể.

Một khía cạnh khác đối với ảnh hưởng của tính không đồng nhất không quan sát được đối với logit so với hồi quy tuyến tính, là hiệu ứng của các hồi quy khác nhau trong mỗi bộ dữ liệu. Nếu bạn không có cùng một biến hoặc có thể nếu chúng được đo khác nhau, bạn có một dạng sai lệch biến bị bỏ qua. Không giống như hồi quy tuyến tính, một biến bị bỏ qua trực giao với hồi quy chính của bạn vẫn có thể sai lệch ước tính của bạn. Như Cramer nói:

Ngay cả với các biến hồi quy trực giao, sau đó, các biến bị bỏ qua làm suy giảm về 0, tương đối với giá trị của nó trong phương trình đầy đủ. Nói cách khác, của các mô hình rời rạc thay đổi ngược với mức độ không đồng nhất không quan sát được. Hậu quả thực tế là các ước tính từ các mẫu khác nhau về mặt này không thể so sánh trực tiếp. ( http://dare.uva.nl/document/2/96199 ) $\hat β$ $\hat β$

Cramer cũng chỉ ra mặc dù các ước tính hệ số bị sai lệch xuống khi bỏ qua một biến, các dẫn xuất một phần thì không. Điều này khá phức tạp và bạn nên đọc bài viết để có lời giải thích sáng suốt hơn - điểm chung là, đừng chỉ nhìn vào tỷ lệ cược hoặc tỷ lệ cược log. Xem xét các xác suất và dẫn xuất dự đoán; xem lệnh lề trong Stata để biết thêm chi tiết. JD Long có một bài báo đi vào chi tiết ở đây.

Cuối cùng, có một số bài báo bạn có thể Google để thảo luận về các điều khoản tương tác trong các mô hình logit. Sự hiểu biết của tôi là lấy hệ số logit trên một tương tác làm hướng dẫn nhưng không dứt khoát, đặc biệt nếu bạn muốn xem các hệ số là tỷ lệ tỷ lệ cược lũy thừa. Nhìn vào xác suất dự đoán và hiệu ứng cận biên trung bình sẽ tốt hơn (một lần nữa, hãy tìm tài liệu về lệnh ký quỹ của Stata để đăng nhập, ngay cả khi bạn sử dụng SPSS, điều này vẫn sẽ hữu ích).

Tôi không đủ quen thuộc với SPSS để biết gói đó có thể giải quyết các vấn đề này như thế nào, nhưng tôi sẽ nói điều này: khi bạn gặp vấn đề thống kê sâu hơn như thế này, đó là dấu hiệu cho thấy đã đến lúc bạn cần chuyển sang nhiều hơn gói linh hoạt, tinh vi như Stata hoặc R.

— robin.datadrivers
nguồn

+1 để đề xuất các hiệu ứng cận biên và đề xuất chuyển vào R.

— Kenji

1

Một công cụ khác có thể hữu ích là hệ số hồi quy được tiêu chuẩn hóa, hoặc ít nhất là một phiên bản giả thô và sẵn sàng. Bạn có thể có được một phiên bản như vậy bằng cách nhân hệ số thu được của bạn với độ lệch chuẩn của bộ dự đoán. (Có các phiên bản khác và một số tranh luận về phiên bản tốt nhất, ví dụ: xem Menard 2002, Phân tích hồi quy logistic ứng dụng ( sách Google )). Điều này sẽ cung cấp cho bạn một cách để đánh giá sức mạnh của hiệu ứng qua các nghiên cứu.

— rolando2
nguồn