Nếu tôi lặp lại mọi quan sát mẫu trong mô hình hồi quy tuyến tính và chạy lại hồi quy thì kết quả sẽ bị ảnh hưởng như thế nào?

15

Nói rằng tôi có N quan sát, có thể là nhiều yếu tố và tôi lặp lại mỗi lần quan sát hai lần (hoặc M lần), làm thế nào một hồi quy trên tập kích thước NM mới này so với hồi quy trên các quan sát ban đầu?

regression linear-model multiple-regression

— Cung điện
nguồn

13

Về mặt khái niệm, bạn đang thêm không có thông tin "mới", nhưng bạn "biết" thông tin đó chính xác hơn.

Do đó, điều này sẽ dẫn đến các hệ số hồi quy tương tự, với các lỗi tiêu chuẩn nhỏ hơn.

Ví dụ, trong Stata, hàm x mở rộng nhân đôi mỗi lần quan sát x lần.

sysuse auto, clear
regress mpg weight length
------------------------------------------------------------------------------
         mpg |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
      weight |  -.0038515    .001586    -2.43   0.018    -.0070138   -.0006891
      length |  -.0795935   .0553577    -1.44   0.155    -.1899736    .0307867
       _cons |   47.88487    6.08787     7.87   0.000       35.746    60.02374
------------------------------------------------------------------------------

expand 5

regress mpg weight length
------------------------------------------------------------------------------
         mpg |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
      weight |  -.0038515   .0006976    -5.52   0.000    -.0052232   -.0024797
      length |  -.0795935   .0243486    -3.27   0.001    -.1274738   -.0317131
       _cons |   47.88487   2.677698    17.88   0.000     42.61932    53.15043
------------------------------------------------------------------------------

Như bạn có thể thấy, các hệ số (độ dài) không đáng kể trước đây trở nên có ý nghĩa thống kê trong mô hình mở rộng, thể hiện độ chính xác mà bạn "biết" những gì bạn biết.

— pmgjones
nguồn

Có lỗi tiêu chuẩn thực sự đi xuống. Một số khuyến nghị hồi quy tuyến tính có trọng số cho việc này .. Có phương pháp nào bạn sử dụng để khắc phục điều này không?

— BBDynSys

3

w^{*} = = {argmin}_{w} | | X w - y | |^{2}

$w^* = \mbox{argmin}_w ||Xw - y||^2$

X

$X$

y

$y$

M

$M$

M

$M$

— Nhà trọ
nguồn

Đồng ý, nhưng tôi nghĩ t thống kê và lỗi tiêu chuẩn nên thay đổi khi thay đổi từ N sang NM?

— Cung điện Chan

M * N - P

$M*N - P$

N

$N$

P

$P$

M

$M$