Giải thích exp (B) trong hồi quy logistic đa thức


16

Đây là một phần của câu hỏi của người mới bắt đầu, nhưng làm thế nào để diễn giải kết quả exp (B) của 6.012 trong mô hình hồi quy logistic đa phương thức?

1) có phải là 6.012-1.0 = 5.012 = 5012% rủi ro tăng không?

hoặc là

2) 6.012 / (1 + 6.012) = 0.857 = 85,7% rủi ro tăng?

Trong trường hợp cả hai phương án đều không chính xác, ai đó có thể vui lòng đề cập đến cách chính xác không?

Ive đã tìm kiếm nhiều tài nguyên trên internet và tôi có được hai lựa chọn thay thế này, và tôi không hoàn toàn chắc chắn cái nào là chính xác.

Câu trả lời:


35

Chúng tôi sẽ mất một lúc để đến đó, nhưng tóm lại, một thay đổi một đơn vị trong biến tương ứng với B sẽ nhân rủi ro tương đối của kết quả (so với kết quả cơ sở) với 6,012.

Người ta có thể biểu thị điều này khi tăng "5012%" rủi ro tương đối , nhưng đó là một cách gây nhầm lẫn và có khả năng gây hiểu lầm, bởi vì nó cho thấy chúng ta nên nghĩ về những thay đổi một cách bổ sung, trong khi thực tế mô hình logistic đa phương khuyến khích chúng ta suy nghĩ nhân lên. Công cụ sửa đổi "tương đối" là điều cần thiết, bởi vì sự thay đổi trong một biến đồng thời thay đổi xác suất dự đoán của tất cả các kết quả, không chỉ là vấn đề được đề cập, vì vậy chúng tôi phải so sánh xác suất (bằng phương pháp tỷ lệ, không phải là khác biệt).

Phần còn lại của câu trả lời này phát triển thuật ngữ và trực giác cần thiết để giải thích chính xác các tuyên bố này.

Lý lịch

Hãy bắt đầu với hồi quy logistic thông thường trước khi chuyển sang trường hợp đa quốc gia.

Đối với biến phụ thuộc (nhị phân) Yvà biến độc lập Xi , mô hình là

Pr[Y=1]=exp(β1X1++βmXm)1+exp(β1X1++βmXm);

tương đương, giả sử 0Pr[Y=1]1 ,

log(ρ(X1,,Xm))=logPr[Y=1]Pr[Y=0]=β1X1++βmXm.

(Điều này chỉ đơn giản định nghĩa ρ , đó là tỷ lệ cược như một chức năng của Xi .)

Nếu không có bất kỳ mất tính tổng quát, chỉ số Xi sao cho Xm là biến và βm là "B" trong câu hỏi (để exp(βm)=6.012 ). Sửa các giá trị của Xi,1i<m , và thay đổi Xm bởi một lượng nhỏ δ sản lượng

log(ρ(,Xm+δ))log(ρ(,Xm))=βmδ.

Do đó, βm là thay đổi biên trong tỷ lệ cược log đối với Xm .

Để khôi phục exp(βm) , rõ ràng chúng ta phải thiết lập δ=1 và exponentiate phía bên tay trái:

exp(βm)=exp(βm×1)=exp(log(ρ(,Xm+1))log(ρ(,Xm)))=ρ(,Xm+1)ρ(,Xm).

Điều này thể hiện tỷ lệ cược cho mức tăng một đơn vị trong X m . Để phát triển trực giác về ý nghĩa của điều này, hãy lập bảng một số giá trị cho một loạt các tỷ lệ cược bắt đầu, làm tròn mạnh để làm cho các mẫu nổi bật:exp(βm)Xm

Starting odds  Ending odds  Starting Pr[Y=1]  Ending Pr[Y=1]
0.0001         0.0006       0.0001            0.0006
0.001          0.006        0.001             0.006
0.01           0.06         0.01              0.057
0.1            0.6          0.091             0.38
1.             6.           0.5               0.9
10.            60.          0.91              1.
100.           600.         0.99              1.

Đối với các tỷ lệ cược thực sự nhỏ , tương ứng với xác suất thực sự nhỏ , tác động của việc tăng một đơn vị trong nhân tỷ lệ cược hoặc xác suất với khoảng 6,012. Hệ số nhân giảm khi tỷ lệ cược (và xác suất) lớn hơn và về cơ bản đã biến mất khi tỷ lệ cược vượt quá 10 (xác suất vượt quá 0,9).Xm

Tỷ lệ thay đổi xác suất

Là một thay đổi phụ gia , không có nhiều sự khác biệt giữa xác suất 0,0001 và 0,0006 (chỉ 0,05%), cũng không có nhiều sự khác biệt giữa 0,99 và 1. (chỉ 1%). Tác dụng phụ lớn nhất xảy ra khi tỷ lệ cược tương đương với , nơi những thay đổi xác suất từ 29% xuống còn 71%: một sự thay đổi của + 42%.1/6.0120.408

Thay đổi phụ gia trong xác suất

Sau đó, chúng ta thấy rằng nếu chúng ta biểu thị "rủi ro" là tỷ lệ chênh lệch, = "B" có một cách hiểu đơn giản - tỷ lệ chênh lệch bằng β m khi tăng đơn vị trong X m - nhưng khi chúng ta biểu thị rủi ro một số thời trang khác, chẳng hạn như thay đổi xác suất, việc giải thích đòi hỏi phải cẩn thận để xác định xác suất bắt đầu.βmβmXm

Hồi quy logistic đa thức

(Điều này đã được thêm vào như là một chỉnh sửa sau này.)

Khi đã nhận ra giá trị của việc sử dụng tỷ lệ cược log để thể hiện cơ hội, hãy chuyển sang trường hợp đa phương thức. Bây giờ biến phụ thuộc có thể bằng một trong k 2 loại, lập chỉ mục bởi i = 1 , 2 , ... , k . Các thân nhân xác suất mà nó là trong thể loại iYk2i=1,2,,ki

Pr[Yi]exp(β1(i)X1++βm(i)Xm)

với các thông số được xác định và viết Y i cho Pr [ Y = loại  i ] . Là một chữ viết tắt, chúng ta hãy viết biểu thức bên phải như p i ( X , β ) hoặc, nơi Xβ được rõ ràng từ bối cảnh, chỉ cần p i . Bình thường hóa để làm cho tất cả các xác suất tương đối này tổng hợp thành sự thống nhấtβj(i)YiPr[Y=category i]pi(X,β)Xβpi

Pr[Yi]=pi(X,β)p1(X,β)++pm(X,β).

(Có một sự không rõ ràng trong các tham số: có quá nhiều trong số chúng. Thông thường, người ta chọn một loại "cơ sở" để so sánh và buộc tất cả các hệ số của nó bằng không. nó được không cần thiết để giải thích các hệ số để duy trì tính đối xứng -. có nghĩa là, để tránh bất kỳ sự phân biệt nhân tạo giữa các loại - chúng ta không thực thi bất kỳ hạn chế như vậy trừ khi chúng ta phải).

Một cách để giải thích mô hình này là yêu cầu tỷ lệ thay đổi biên của tỷ lệ cược log cho bất kỳ danh mục nào (nói loại ) đối với bất kỳ một trong các biến độc lập (giả sử X j ). Đó là, khi chúng ta thay đổi X j một chút, điều đó tạo ra sự thay đổi về tỷ lệ cược log của Y i . Chúng tôi quan tâm đến hằng số tỷ lệ liên quan đến hai thay đổi này. Quy tắc tính toán chuỗi, cùng với một ít đại số, cho chúng ta biết tỷ lệ thay đổi này làiXjXjYi

 log odds(Yi) Xj=βj(i)βj(1)p1++βj(i1)pi1+βj(i+1)pi+1++βj(k)pkp1++pi1+pi+1++pk.

This has a relatively simple interpretation as the coefficient βj(i) of Xj in the formula for the chance that Y is in category i minus an "adjustment." The adjustment is the probability-weighted average of the coefficients of Xj in all the other categories. The weights are computed using probabilities associated with the current values of the independent variables X. Thus, the marginal change in logs is not necessarily constant: it depends on the probabilities of all the other categories, not just the probability of the category in question (category i).

When there are just k=2 categories, this ought to reduce to ordinary logistic regression. Indeed, the probability weighting does nothing and (choosing i=2) gives simply the difference βj(2)βj(1). Letting category i be the base case reduces this further to βj(2), because we force βj(1)=0. Thus the new interpretation generalizes the old.

βj(i)

XjiiXjXj for category i.

Another interpretation, albeit a little less direct, is afforded by (temporarily) setting category i as the base case, thereby making βj(i)=0 for all the independent variables Xj:

The marginal rate of change in the log odds of the base case for variable Xj is the negative of the probability-weighted average of its coefficients for all the other cases.

Actually using these interpretations typically requires extracting the betas and the probabilities from software output and performing the calculations as shown.

Finally, for the exponentiated coefficients, note that the ratio of probabilities among two outcomes (sometimes called the "relative risk" of i compared to i) is

YiYi=pi(X,β)pi(X,β).

Let's increase Xj by one unit to Xj+1. This multiplies pi by exp(βj(i)) and pi by exp(βj(i)), whence the relative risk is multiplied by exp(βj(i))/exp(βj(i)) = exp(βj(i)βj(i)). Taking category i to be the base case reduces this to exp(βj(i)), leading us to say,

The exponentiated coefficient exp(βj(i)) is the amount by which the relative risk Pr[Y=category i]/Pr[Y=base category] is multiplied when variable Xj is increased by one unit.


1
Great explanations, but the OP explicitly asked for the multinomial model. I may be reading more into the question than the OP intended, and the explanation for the binary case may be adequate, but I would love to see this answer cover the general multinomial case too. Even though the parametrization is similar, the "log-odds" are in general with respect to an (arbitrary) reference category, and they are not really log-odds, and a unit change in Xi results in a combined change of these "log-odds", and an increasing "log-odds" does not imply and increasing probability.
NRH

@NRH That's an excellent point. I had somehow read "multivariate" instead of "multinomial." If I get a chance to return to this I will try to flesh out those details. Fortunately the same mode of analysis is effective in finding the correct interpretation.
whuber

@NRH Done. I welcome your suggestions (or anyone else's) about how to make the interpretation clearer, or for alternative interpretations.
whuber

1
thanks for writing this down. The complete answer is a very good reference.
NRH

1

Try considering this bit of explanation in addition to what @whuber has already written so well. If exp(B) = 6, then the odds ratio associated with an increase of 1 on the predictor in question is 6. In a multinomial context, by "odds ratio" we mean the ratio of these two quantities: a) the odds (not probability, but rather p/[1-p]) of a case taking the value of the dependent variable indicated in the output table in question, and b) the odds of a case taking the reference value of the dependent variable.

You seem to be looking to quantify the probability--rather than odds-- of a case being in one or the other category. To do this you would need to know what probabilities the case "started with" -- i.e., before we assumed the increase of 1 on the predictor in question. Ratios of probabilities will vary case by case, while the ratio of odds connected with an increase of 1 on the predictor stays the same.


"If exp(B) = 6, then the odds ratio associated with an increase of 1 on the predictor in question is 6", if I read @whuber's answer correctly it says that the odds ratio will be multiplied by 6 with an increase of 1 on the predictor. That is, the new odds ratio will not be 6. Or am I intepreting things incorrectly?
rbm

Where you say "the new odds ratio will not be 6" I would say "the new odds will not be 6...but the ratio of the new to the old odds will be 6."
rolando2

Yes, I agree with that! But I just thought that "the odds ratio associated with an increase of 1 on the predictor in question is 6" does not really say that. But maybe I am just misinterpreting it then. Thanks for the clarification!
rbm

1

I was also looking for the same answer, but the once above were not satisfying for me. It seemed to complex for what it really is. So I will give my interpretation, please correct me if I am wrong.

Do however read to the end, since it is important.

First of all the values B and Exp(B) are the once you are looking for. If the B is negative your Exp(B) will be lower than one, which means odds decrease. If higher the Exp(B) will be higher than 1, meaning odds increase. Since you are multiplying by the factor Exp(B).

Unfortunately you are not there yet. Because in a multinominal regression your dependent variable has multiple categories, let's call these categories D1, D2 and D3. Of which your last is the reference category. And let's assume your first independent variable is sex (males vs females).

Let's say the output for D1 -> males is exp(B)= 1.21, this means for males the odds increase by a factor 1.21 for being in the category D1 rather than D3 (reference category) compared to females (reference category).

So you are always comparing against your reference category of the dependent but also independent variables. This is not true if you have a covariate variable. In that case it would mean; a one unit increase in X increases the odds by a factor of 1.21 of being in category D1 rather than D3.

For those with an ordinal dependent variable:

If you have an ordinal dependent variable and did not do an ordinal regression because of the assumption of proportional odds for instance. Keep in mind your highest category is the reference category. Your result as above are valid to report. But keep in mind that an increase in odds than in fact means an increase in odds of being in the lower category rather than the higher! But that's only if you have an ordinal dependant variable.

If you want to know the increase in percentage, well take a fictive odds-number, let's say 100 and multiply it by 1.21 which is 121? Compared to 100 how much did it change percentage wise?


0

Say that exp(b) in an mlogit is 1.04. if you multiply a number by 1.04, then it increases by 4%. That is the relative risk of being in category a instead of b. I suspect that part of the confusion here might have to do with by 4% (multiplicative meaning) and by 4 percent points (additive meaning). The % interpretation is correct if we talk about a percentage change not percentage point change. (The latter would not make sense anyhow as relative risks aren't expressed in terms of percentages.)

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.