Làm thế nào bạn có thể xử lý không ổn định

Độ ổn định Beta trong hồi quy tuyến tính với đa cộng tuyến cao?

Giả sử trong hồi quy tuyến tính, các biến $x_1$ và $x_2$ có đa cộng tuyến cao (tương quan là khoảng 0,9).

Chúng tôi lo ngại về $\beta$ ổn định hệ số vì vậy chúng tôi phải đối xử với đa cộng tuyến.

Giải pháp sách giáo khoa sẽ chỉ là vứt bỏ một trong các biến.

Nhưng chúng tôi không muốn mất thông tin hữu ích bằng cách vứt bỏ các biến.

Bất kỳ đề xuất?

regression multicollinearity

— ánh trăng
nguồn

Bạn đã thử một số loại chương trình chính quy (ví dụ hồi quy sườn)?

— Néstor

Câu trả lời:

Bạn có thể thử phương pháp hồi quy sườn trong trường hợp khi ma trận tương quan gần với số ít (tức là các biến có tương quan cao). Nó sẽ cung cấp cho bạn một ước tính mạnh mẽ của . $\beta$

Câu hỏi duy nhất là làm thế nào để chọn tham số quy tắc . Đó không phải là một vấn đề đơn giản, mặc dù tôi đề nghị thử các giá trị khác nhau. $\lambda$

Hi vọng điêu nay co ich!

— Paul
nguồn

Cross-validation là điều bình thường để làm gì để chọn

;-).

λ

$\lambda$

— Néstor

thực sự (+1 cho câu trả lời và bình luận Nestors'), và nếu bạn thực hiện các phép tính trong 'hình thức kinh điển' (sử dụng một phân hủy eigen của

, bạn có thể tìm ra

giảm thiểu nghỉ-one-out lỗi cross-validation bởi Phương pháp của Newton rất rẻ.

X^{T} X

$X^TX$

λ

$\lambda$

— Dikran Marsupial 17/07 '

cảm ơn rất nhiều! Bất kỳ hướng dẫn / ghi chú nào về cách thực hiện điều đó bao gồm xác nhận chéo trong R?

— Luna

Hãy xem chương 3 trong cuốn sách này: stanford.edu/~hastie/local.ftp/Springer/ESLII_print5.pdf . Việc thực hiện hồi quy sườn được thực hiện trong R bởi một số tác giả (Google là bạn của bạn!).

— Néstor

Bạn có thể sử dụng lm.ridgethói quen trong gói MASS. Nếu bạn vượt qua nó một loạt các giá trị cho

, ví dụ như, một cuộc gọi như , bạn sẽ nhận lại số liệu thống kê kiểm chứng chéo khái quát hóa trong , và có thể vẽ chúng chống lại

: để chọn mức tối thiểu.

λ

$\lambda$ foo <- lm.ridge(y~x1+x2,lambda=seq(0,10,by=0.1))foo

λ

$\lambda$ plot(foo$GCV~foo$lambda)

— Jbowman

Vâng, có một phương pháp ad hoc mà tôi đã sử dụng trước đây. Tôi không chắc thủ tục này có tên hay không nhưng nó có ý nghĩa bằng trực giác.

Giả sử mục tiêu của bạn là phù hợp với mô hình

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_i + \beta_2 Z_i + \varepsilon_i$

trong đó hai yếu tố dự đoán - - có mối tương quan cao. Như bạn đã chỉ ra, sử dụng cả hai trong cùng một mô hình có thể làm những điều kỳ lạ đối với ước tính hệ số và giá trị . Một thay thế là để phù hợp với mô hình $X_i, Z_i$ $p$

Z_{i} = α_{0} + α_{1} X_{i} + η_{i}

$Z_i = \alpha_0 + \alpha_1 X_i + \eta_i$

Sau đó, phần dư sẽ không tương thích với và theo một cách nào đó, có thể được coi là một phần của không bị giảm bởi mối quan hệ tuyến tính của nó với . Sau đó, bạn có thể tiến hành để phù hợp với mô hình $\eta_i$ $X_i$ $Z_i$ $X_i$

Y_{i} = θ_{0} + θ_{1} X_{i} + θ_{2} η_{i} + ν_{i}

$Y_i = \theta_0 + \theta_1 X_i + \theta_2 \eta_i + \nu_i$

sẽ nắm bắt tất cả các hiệu ứng của mô hình đầu tiên (và thực tế, sẽ có cùng giống như mô hình đầu tiên) nhưng các dự đoán không còn được kết hợp nữa. $R^2$

Chỉnh sửa: OP đã yêu cầu giải thích lý do tại sao phần dư không, theo định nghĩa, có mối tương quan mẫu bằng 0 với bộ dự đoán khi bạn bỏ qua việc chặn như họ làm khi bao gồm phần chặn. Điều này là quá dài để đăng trong các ý kiến vì vậy tôi đã thực hiện một chỉnh sửa ở đây. Đạo hàm này không đặc biệt khai sáng (tiếc là tôi không thể đưa ra một lập luận trực quan hợp lý) nhưng nó cho thấy những gì OP yêu cầu :

Khi chặn được bỏ qua trong hồi quy tuyến tính đơn giản , , vì vậy $\hat \beta = \frac{ \sum x_i y_i}{\sum x_i^2}$ . Mối tương quan mẫu giữavàlà tỉ lệ với nơi biểu thị giá trị trung bình mẫu số lượng dưới quầy bar. Bây giờ tôi sẽ chỉ ra điều này không nhất thiết phải bằng không. $e_i = y_i - x_i \frac{ \sum x_i y_i}{\sum x_i^2}$ $x_i$ $e_i$

\bar{x e} - \bar{x} \bar{e}

$\overline{xe} - \overline{x}\overline{e}$

\bar{\cdot}

$\overline{\cdot}$

Đầu tiên chúng ta có

\bar{x e} = \frac{1}{n} (\sum x_{i} y_{i} - x_{i}^{2} \cdot \frac{\sum x_{i} y_{i}}{\sum x_{i}^{2}}) = \bar{x y} (1 - \frac{\sum x_{i}^{2}}{\sum x_{i}^{2}}) = 0

$\overline{xe} = \frac{1}{n} \left( \sum x_i y_i - x_{i}^2 \cdot \frac{ \sum x_i y_i}{\sum x_i^2} \right) = \overline{xy} \left( 1 - \frac{ \sum x_{i}^2}{ \sum x_{i}^2 } \right) = 0$

nhưng

\bar{x} \bar{e} = \bar{x} (\bar{y} - \frac{\bar{x} \cdot \bar{x y}}{\bar{x^{2}}}) = \bar{x} \bar{y} - \frac{{\bar{x}}^{2} \cdot \bar{x y}}{\bar{x^{2}}}

$\overline{x} \overline{e} = \overline{x} \left( \overline{y} - \frac{\overline{x} \cdot \overline{xy}}{\overline{x^2}} \right) = \overline{x}\overline{y} - \frac{\overline{x}^2 \cdot \overline{xy}}{\overline{x^2}}$

$e_i$ $x_i$ $\overline{x}\overline{e}$ $0$

\bar{y} = \frac{\bar{x} \cdot \bar{x y}}{\bar{x^{2}}}

$\overline{y} = \frac{ \overline{x} \cdot \overline{xy}}{\overline{x^2}}$

$x, y$

— Vĩ mô
nguồn

This reminds me of partial regression plots.

— Andy W

This sounds like an approximation to replacing

(X, Z)

$(X, Z)$ by their principal components.

— whuber

One thing I had in mind is that PCA generalizes easily to more than two variables. Another is that it treats

X

$X$ and

Z

$Z$ symmetrically, whereas your proposal appears arbitrarily to single out one of these variables. Another thought was that PCA provides a disciplined way to reduce the number of variables (although one must be cautious about that, because a small principal component may be highly correlated with the dependent variable).

— whuber

Hi Macro, Thank you for the excellent proof. Yeah now I understand it. When we talk about sample correlation between x and residuals, it requires the intercept term to be included for the sample correlation to be 0. On the other hand, when we talk about orthogonality between x and residuals, it doesn't require the intercept term to be included, for the orthogonality to hold.

— Luna

@Luna, tôi không đặc biệt không đồng ý với việc sử dụng hồi quy sườn - đây chỉ là điều đầu tiên xảy ra với tôi (tôi đã trả lời trước khi được đề xuất). Một điều tôi có thể nói là ước tính hồi quy sườn núi bị sai lệch, do đó, ở một khía cạnh nào đó, bạn thực sự ước tính một lượng hơi khác (thu nhỏ) so với hồi quy thông thường, khiến cho việc giải thích các hệ số có thể khó khăn hơn (như gung ám chỉ). Ngoài ra, những gì tôi đã mô tả ở đây chỉ đòi hỏi sự hiểu biết về hồi quy tuyến tính cơ bản và có thể hấp dẫn trực quan hơn đối với một số người.

— Macro

Tôi thích cả hai câu trả lời cho đến nay. Hãy để tôi thêm một vài điều.

Một tùy chọn khác là bạn cũng có thể kết hợp các biến. Điều này được thực hiện bằng cách tiêu chuẩn hóa cả hai (nghĩa là biến chúng thành điểm z), lấy trung bình chúng và sau đó khớp mô hình của bạn chỉ với biến tổng hợp. Đây sẽ là một cách tiếp cận tốt khi bạn tin rằng chúng là hai biện pháp khác nhau của cùng một cấu trúc cơ bản. Trong trường hợp đó, bạn có hai phép đo bị nhiễm lỗi. Giá trị thực sự có khả năng nhất cho biến bạn thực sựquan tâm là ở giữa chúng, do đó trung bình chúng cho một ước tính chính xác hơn. Bạn chuẩn hóa chúng trước để đặt chúng lên cùng một thang đo, sao cho các vấn đề danh nghĩa không làm ô nhiễm kết quả (ví dụ: bạn sẽ không muốn lấy trung bình một số phép đo nhiệt độ nếu một số là Fahrenheit và một số là Celsius). Tất nhiên, nếu chúng đã ở cùng một thang điểm (ví dụ: một số cuộc thăm dò dư luận có tương quan cao), bạn có thể bỏ qua bước đó. Nếu bạn nghĩ rằng một trong các biến của bạn có thể chính xác hơn các biến khác, bạn có thể thực hiện trung bình có trọng số (có thể sử dụng các đối ứng của các lỗi đo lường).

If your variables are just different measures of the same construct, and are sufficiently highly correlated, you really could just throw one out without losing much information. As an example, I was actually in a situation once, where I wanted to use a covariate to absorb some of the error variance and boost power, but where I didn't care about that covariate--it wasn't germane substantively. I had several options available and they were all correlated with each other $r>.98$ . I basically picked one at random and moved on, and it worked fine. I suspect I would have lost power burning two extra degrees of freedom if I had included the others as well by using some other strategy. Of course, I could have combined them, but why bother? However, this depends critically on the fact that your variables are correlated because they are two different versions of the same thing; if there's a different reason they are correlated, this could be totally inappropriate.

Như điều đó ngụ ý, tôi khuyên bạn nên suy nghĩ về những gì ẩn sau các biến tương quan của bạn. Đó là, bạn cần một lý thuyết về lý do tại sao chúng có mối tương quan cao để thực hiện công việc tốt nhất là chọn chiến lược nào sẽ sử dụng. Ngoài các biện pháp khác nhau của cùng một biến tiềm ẩn, một số khả năng khác là một chuỗi nguyên nhân (nghĩa là $X_1\rightarrow X_2\rightarrow Y$ ) và các tình huống phức tạp hơn trong đó các biến của bạn là kết quả của nhiều lực nhân quả, một số biến giống nhau cho cả hai. Có lẽ trường hợp cực đoan nhất là biến số triệt tiêu, mà @whuber mô tả trong bình luận của mình dưới đây. Chẳng hạn, đề xuất của Macro, giả sử rằng bạn chủ yếu quan tâm đến $X$ và tự hỏi về sự đóng góp bổ sung của $Z$ after having accounted for $X$ 's contribution. Thus, thinking about why your variables are correlated and what you want to know will help you decide which (i.e., $x_1$ or $x_2$ ) should be treated as $X$ and which $Z$ . The key is to use theoretical insight to inform your choice.

I agree that ridge regression is arguably better, because it allows you to use the variables you had originally intended and is likely to yield betas that are very close to their true values (although they will be biased--see here or here for more information). Nonetheless, I think is also has two potential downsides: It is more complicated (requiring more statistical sophistication), and the resulting model is more difficult to interpret, in my opinion.

I gather that perhaps the ultimate approach would be to fit a structural equation model. That's because it would allow you to formulate the exact set of relationships you believe to be operative, including latent variables. However, I don't know SEM well enough to say anything about it here, other than to mention the possibility. (I also suspect it would be overkill in the situation you describe with just two covariates.)

— gung - Reinstate Monica
nguồn

Re the first point: Let vector

X_{1}

$X_1$ have a range of values and let vector

e

$e$ have small values completely uncorrelated with

X_{1}

$X_1$ so that

X_{2} = X_{1} + e

$X_2=X_1+e$ is highly correlated with

X_{1}

$X_1$ . Set

Y = e

$Y=e$ . In the regression of

Y

$Y$ against either

X_{1}

$X_1$ or

X_{2}

$X_2$ you will see no significant or important results. In the regression of

Y

$Y$ against

X_{1}

$X_1$ and

X_{2}

$X_2$ you will get an extremely good fit, because

Y = X_{2} - X_{1}

$Y=X_2-X_1$ . Thus, if you throw out either of

X_{1}

$X_1$ or

X_{2}

$X_2$ , you will have lost essentially all information about

Y

$Y$ . Whence, "highly correlated" does not mean "have equivalent information about

Y

$Y$ ".

— whuber

Thanks a lot Gung! Q1. Why does this approach work: "This is done by standardizing both (i.e., turning them into z-scores), averaging them, and then fitting your model with only the composite variable. "? Q2. Why would Ridge Regression be better? Q3. Why would SEM be better? Anybody please shed some lights on this? Thank you!

— Luna

Hi Luna, glad to help. I'm actually going to re-edit this; @whuber was more right than I had initially realized. I'll try to put in more to help w/ your additional questions, but it'll take a lot, so it might be a while. We'll see how it goes.

— gung - Reinstate Monica