Tại sao mô hình hồi quy tuyến tính chặn không dự đoán tốt hơn mô hình có chặn?

Nhiều sách giáo khoa và giấy tờ nói rằng không nên ngăn chặn. Gần đây, tôi đã sử dụng một tập dữ liệu huấn luyện để xây dựng mô hình hồi quy tuyến tính có hoặc không có chặn. Tôi đã rất ngạc nhiên khi thấy rằng mô hình không có đánh chặn dự đoán tốt hơn so với mô hình đánh chặn về mặt rmse trong một bộ dữ liệu xác nhận độc lập. Là độ chính xác dự đoán là một trong những lý do mà tôi nên sử dụng các mô hình không chặn?

Hãy xem xét kỹ cách thức rmse hoặc thống kê khác được tính khi so sánh các mô hình không chặn với các mô hình chặn. Đôi khi các giả định và tính toán khác nhau giữa hai mô hình và một mô hình có thể phù hợp hơn, nhưng trông đẹp hơn vì nó được chia cho một cái gì đó lớn hơn nhiều.

Nếu không có một ví dụ tái sản xuất, rất khó để nói những gì có thể đóng góp.

Tôi không nghĩ bạn nên chọn các mô hình đơn giản vì chúng hoạt động tốt hơn trong một mẫu cụ thể, mặc dù thật tốt khi bạn sử dụng một mẫu đào tạo và xác nhận.

Thay vào đó, hãy nhìn vào những gì các người mẫu nói về tình huống của bạn. Trong một số trường hợp, mô hình chặn không có ý nghĩa. Nếu DV phải là 0 khi tất cả các IV đều bằng 0, thì hãy sử dụng mô hình chặn 0. Nếu không, đừng.

Kiến thức thực chất nên hướng dẫn thống kê, không phải cách khác

Một mô hình không đánh chặn có thể có ý nghĩa nếu hai điều kiện được đáp ứng. Đầu tiên, cần có một kỳ vọng kiến ​​thức đối tượng hợp lý để đánh chặn bằng không. Thứ hai, cần có một giải thích kiến ​​thức chủ đề hợp lý để đường hồi quy duy trì một đường thẳng khi bạn tiến gần đến 0. Ngay cả khi cả hai điều kiện đều được thỏa mãn, tốt nhất là nên tiến hành phân tích với một thuật ngữ chặn và xác minh rằng việc chặn không khác biệt đáng kể so với không.

(Tôi giả sử rằng bạn đang nói về một Y liên tục và X liên tục.)

Điều này có thể hiểu được nếu việc chặn bạn thu được chỉ là tiếng ồn - không phải là sig. khác với số không. (Tôi có đúng không khi các hệ số hồi quy được tiêu chuẩn hóa gần như giống nhau trong cả hai mô hình?) Nếu vậy tôi không nghĩ bạn nên khái quát hóa từ ví dụ này. Khi chặn là sig. và đáng kể, họ thêm một cái gì đó có ý nghĩa vào độ chính xác dự đoán.

Trong hồi quy tuyến tính, bạn phù hợp:

$y = f(\beta, X) = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots$

$\beta$$(X, Y)$$\beta_0$

$\sum_i (y_i- f(\beta, X_i) )^2$

$\beta_0$$+10000$$\beta_0$

$X$$\beta_0$$\beta_0$$\beta_0$

Lưu ý bên lề: hồi quy logistic của scikit thường xuyên chặn chặn theo mặc định. Bất cứ ai cũng biết tại sao: http://scikit-learn.org/urdy/modules/generated/sklearn.linear_model.LogisticRegression.html ? Tôi không nghĩ đó là một ý tưởng tốt .