Tại sao tổng số dư bình phương không tăng khi thêm biến giải thích?

9

Trong sách giáo khoa kinh tế lượng của tôi (Kinh tế lượng nhập môn) bao gồm OLS, tác giả viết, "SSR phải giảm khi thêm một biến giải thích khác." Tại sao lại như vậy?

— Eric Xu
nguồn

1

Về bản chất bởi vì nếu không có mối quan hệ tuyến tính với biến tiếp theo dù thế nào (tương quan một phần mẫu), SSR sẽ giữ nguyên. Nếu có bất kỳ mối quan hệ nào, biến tiếp theo có thể được sử dụng để giảm SSR.

— Glen_b -Reinstate Monica

3

Tuyên bố này đúng về mặt tinh thần nhưng không hoàn toàn đúng: SSR sẽ giữ nguyên (và không giảm) khi thêm bất kỳ biến nào là sự kết hợp tuyến tính của các biến hiện có. Rốt cuộc, bằng cách bỏ qua biến mới, bạn có thể đạt được cùng một giá trị SSR tối thiểu mà bạn đã hoàn thành với biến cũ, vì vậy việc thêm một biến mới không bao giờ có thể làm mọi thứ tồi tệ hơn.

— whuber

Tôi đã trả lời một câu hỏi tương tự ở đây: stats.stackexchange.com/questions/306267/ . Bạn có thể thấy nó hữu ích.

— Josh

18

Tôi : y_{Tôi} = = β_{0} + β_{1} x_{1 Tôi} + ε_{Tôi}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

Tôi Tôi : y_{Tôi} = = β_{0} + β_{1} x_{1 Tôi} + β_{2} x_{2 Tôi} + ε_{Tôi}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

Tóm lại, các mô hình được lồng vào nhau, theo nghĩa là mọi thứ chúng ta có thể mô hình với mô hình 1 có thể được khớp với mô hình hai, mô hình hai là tổng quát hơn mô hình 1. Vì vậy, trong tối ưu hóa, chúng ta có tự do lớn hơn với mô hình hai nên có thể luôn luôn tìm một giải pháp tốt hơn.

Điều này thực sự không liên quan gì đến thống kê nhưng là một thực tế chung về tối ưu hóa.

— kjetil b halvorsen
nguồn

1

Không nghĩ theo cách này, thực sự hữu ích!

— Eric Xu

1

SSR là thước đo sự khác biệt giữa dữ liệu và mô hình ước tính.

Nếu bạn có tùy chọn để tính đến một biến khác, thì nếu biến này chứa nhiều thông tin hơn, sự phù hợp sẽ tự nhiên chặt chẽ hơn, có nghĩa là SSR thấp hơn.

— Đám mây Skywalker
nguồn