Làm thế nào để phát hiện khi mô hình hồi quy quá phù hợp?

Khi bạn là người thực hiện công việc, nhận thức được những gì bạn đang làm bạn phát triển ý thức khi bạn quá phù hợp với mô hình. Đối với một điều, bạn có thể theo dõi xu hướng hoặc suy giảm trong Quảng trường R đã điều chỉnh của mô hình. Bạn cũng có thể theo dõi sự suy giảm tương tự trong các giá trị p của các hệ số hồi quy của các biến chính.

Nhưng, khi bạn vừa đọc một người khác nghiên cứu và bạn không có cái nhìn sâu sắc về quy trình phát triển mô hình nội bộ của riêng họ, làm thế nào bạn có thể phát hiện rõ ràng nếu một mô hình quá phù hợp hay không.

Xác nhận chéo và chính quy hóa là các kỹ thuật khá phổ biến để ngăn chặn quá mức. Để nhanh chóng, tôi khuyên các slide hướng dẫn của Andrew Moore về việc sử dụng xác thực chéo ( gương ) - đặc biệt chú ý đến các cảnh báo. Để biết thêm chi tiết, chắc chắn đọc các chương 3 và 7 của EOSL , bao gồm chủ đề và các vấn đề liên quan ở độ sâu tốt.

Khi tôi tự lắp một mô hình, tôi thường sử dụng các tiêu chí thông tin trong quá trình điều chỉnh, chẳng hạn như AIC hoặc BIC , hoặc các thử nghiệm tỷ lệ khả năng thay thế cho các mô hình phù hợp dựa trên khả năng tối đa hoặc F-test cho các mô hình phù hợp dựa trên bình phương tối thiểu.

Tất cả đều giống nhau về mặt khái niệm ở chỗ chúng xử phạt các tham số bổ sung. Họ đặt ngưỡng "sức mạnh giải thích bổ sung" cho mỗi tham số mới được thêm vào mô hình. Chúng đều là một hình thức chính quy .

Đối với các mô hình của người khác, tôi xem phần phương pháp để xem các kỹ thuật đó có được sử dụng không và cũng sử dụng quy tắc ngón tay cái, chẳng hạn như số lượng quan sát trên mỗi tham số - nếu có khoảng 5 (hoặc ít hơn) các quan sát cho mỗi tham số tôi bắt đầu tự hỏi.

Luôn nhớ rằng một nhu cầu biến không cần phải "đáng kể" trong một mô hình là quan trọng. Tôi có thể là một người gây nhiễu và nên được đưa vào trên cơ sở đó nếu mục tiêu của bạn là ước tính ảnh hưởng của các biến khác.

Tôi sẽ đề nghị rằng đây là một vấn đề với cách báo cáo kết quả. Không phải để "đánh trống Bayes" nhưng tiếp cận sự không chắc chắn của mô hình từ quan điểm của Bayes như một vấn đề suy luận sẽ giúp ích rất nhiều ở đây. Và nó cũng không phải là một thay đổi lớn. Nếu báo cáo chỉ đơn giản chứa xác suất mô hình là đúng thì điều này sẽ rất hữu ích. Đây là một số lượng dễ dàng để ước tính bằng BIC. Gọi BIC cho mô hình mth . Sau đó, xác suất mà mô hình mth là mô hình "đúng", với điều kiện là các mô hình M phù hợp (và một trong các mô hình là đúng) được đưa ra bởi:$BIC_{m}$$M$

$$P(\text{model m is true}|\text{one of the M models is true})\approx\frac{w_{m}\exp\left(-\frac{1}{2}BIC_{m}\right)}{\sum_{j=1}^{M}w_{j}\exp\left(-\frac{1}{2}BIC_{j}\right)}$$ $$=\frac{1}{1+\sum_{j\neq m}^{M}\frac{w_{j}}{w_{m}}\exp\left(-\frac{1}{2}(BIC_{j}-BIC_{m})\right)}$$

Where $w_{j}$ is proportional to the prior probability for the jth model. Note that this includes a "penalty" for trying to many models - and the penalty depends on how well the other models fit the data. Usually you will set $w_{j}=1$, however, you may have some "theoretical" models within your class that you would expect to be better prior to seeing any data.

Now if somebody else doesn't report all the BIC's from all the models, then I would attempt to infer the above quantity from what you have been given. Suppose you are given the BIC from the model - note that BIC is calculable from the mean square error of the regression model, so you can always get BIC for the reported model. Now if we take the basic premise that the final model was chosen from the smallest BIC then we have $BIC_{final}<BIC_{j}$. Now, suppose you were told that "forward" or "forward stepwise" model selection was used, starting from the intercept using $p$ potential variables. If the final model is of dimension $d$, then the procedure must have tried at least

$$M\geq 1+p+(p-1)+\dots+(p-d+1)=1+\frac{p(p-1)-(p-d)(p-d-1)}{2}$$

different models (exact for forward selection), If the backwards selection was used, then we know at least

$$M\geq 1+p+(p-1)+\dots+(d+1)=1+\frac{p(p-1)-d(d-1)}{2}$$

Models were tried (the +1 comes from the null model or the full model). Now we could try an be more specific, but these are "minimal" parameters which a standard model selection must satisfy. We could specify a probability model for the number of models tried $M$ and the sizes of the $BIC_{j}$ - but simply plugging in some values may be useful here anyway. For example suppose that all the BICs were $\lambda$ bigger than the one of the model chosen so that $BIC_{m}=BIC_{j}-\lambda$, then the probability becomes:

$$\frac{1}{1+(M-1)\exp\left(-\frac{\lambda}{2}\right)}$$

So what this means is that unless $\lambda$ is large or $M$ is small, the probability will be small also. From an "over-fitting" perspective, this would occur when the BIC for the bigger model is not much bigger than the BIC for the smaller model - a non-neglible term appears in the denominator. Plugging in the backward selection formula for $M$ we get:

$$\frac{1}{1+\frac{p(p-1)-d(d-1)}{2}\exp\left(-\frac{\lambda}{2}\right)}$$

Now suppose we invert the problem. say $p=50$ and the backward selection gave $d=20$ variables, what would $\lambda$ have to be to make the probability of the model greater than some value $P_{0}$? we have

$$\lambda > -2 log\left(\frac{2(1-P_{0})}{P_{0}[p(p-1)-d(d-1)]}\right)$$

Setting $P_{0}=0.9$ we get $\lambda > 18.28$ - so BIC of the winning model has to win by a lot for the model to be certain.