Khi nào thì có thể loại bỏ chặn trong mô hình hồi quy tuyến tính?

Tôi đang chạy mô hình hồi quy tuyến tính và tự hỏi những điều kiện để loại bỏ thuật ngữ chặn.

Khi so sánh kết quả từ hai hồi quy khác nhau trong đó một cái có chặn và cái kia thì không, tôi nhận thấy rằng của hàm không có hàm chặn sẽ cao hơn nhiều. Có những điều kiện hoặc giả định nhất định mà tôi nên tuân theo để đảm bảo loại bỏ điều khoản chặn là hợp lệ?$R^2$

Các ngắn nhất câu trả lời: không bao giờ , trừ khi bạn là chắc chắn rằng xấp xỉ tuyến tính của bạn trong quá trình tạo dữ liệu (mô hình hồi quy tuyến tính) hoặc bởi một số lý thuyết hoặc bất kỳ lý do khác buộc phải đi qua gốc . Nếu không, các tham số hồi quy khác sẽ bị sai lệch ngay cả khi việc chặn là không có ý nghĩa thống kê (lạ nhưng nó là như vậy, ví dụ , tham khảo Kinh tế lượng giới thiệu Brooks ). Cuối cùng, như tôi thường giải thích với các học sinh của mình, bằng cách để lại thuật ngữ chặn, bạn đảm bảo rằng thuật ngữ còn lại là không có nghĩa.

Đối với trường hợp hai mô hình của bạn, chúng tôi cần nhiều bối cảnh hơn. Nó có thể xảy ra rằng mô hình tuyến tính không phù hợp ở đây. Ví dụ, bạn cần phải đăng nhập biến đổi trước nếu mô hình được nhân. Có các quá trình tăng trưởng theo cấp số nhân, đôi khi có thể xảy ra cho mô hình mà không có phần chặn là "cao" hơn nhiều.$R^2$

Sàng lọc dữ liệu, kiểm tra mô hình bằng thử nghiệm RESET hoặc bất kỳ thử nghiệm đặc tả tuyến tính nào khác, điều này có thể giúp xem liệu dự đoán của tôi có đúng không. Và, xây dựng các mô hình cao nhất là một trong những thuộc tính thống kê cuối cùng tôi thực sự quan tâm, nhưng thật tuyệt khi trình bày cho những người không rành về kinh tế lượng (có nhiều thủ thuật bẩn để đưa ra quyết định gần 1 :)).$R^2$

Loại bỏ đánh chặn là một mô hình khác nhau, nhưng có rất nhiều ví dụ mà nó là hợp pháp. Các câu trả lời cho đến nay đã thảo luận chi tiết về ví dụ trong đó mức chặn thực sự là 0. Tôi sẽ tập trung vào một vài ví dụ mà chúng ta có thể quan tâm đến một tham số mô hình không điển hình.

Ví dụ 1: Mô hình kiểu ANOVA. Đối với các biến phân loại, chúng tôi thường tạo thành viên nhóm mã hóa nhị phân. Mô hình hồi quy tiêu chuẩn được tham số hóa dưới dạng các vectơ chặn + k - 1. Mã chặn đánh giá trị dự kiến ​​cho nhóm "tham chiếu" hoặc vectơ bị bỏ qua và các vectơ còn lại kiểm tra sự khác biệt giữa mỗi nhóm và tham chiếu. Nhưng trong một số trường hợp, có thể hữu ích khi có giá trị mong đợi của mỗi nhóm.

dat <- mtcars
dat$vs <- factor(dat$vs)

## intercept model: vs coefficient becomes difference
lm(mpg ~ vs + hp, data = dat)

Coefficients:
(Intercept)          vs1           hp  
   26.96300      2.57622     -0.05453  

## no intercept: two vs coefficients, conditional expectations for both groups
lm(mpg ~ 0 + vs + hp, data = dat)

Coefficients:
     vs0       vs1        hp  
26.96300  29.53922  -0.05453  

Ví dụ 2: Trường hợp dữ liệu được tiêu chuẩn hóa. Trong một số trường hợp, một người có thể làm việc với dữ liệu được tiêu chuẩn hóa. Trong trường hợp này, phần chặn là 0 theo thiết kế. Tôi nghĩ một ví dụ kinh điển về điều này là các mô hình hoặc yếu tố phương trình cấu trúc kiểu cũ, hoạt động chỉ dựa trên ma trận hiệp phương sai của dữ liệu. Trong trường hợp dưới đây, có lẽ là một ý tưởng tốt để ước tính đánh chặn bằng mọi cách, nếu chỉ để giảm mức độ tự do bổ sung (mà bạn thực sự nên mất dù sao vì giá trị trung bình đã được ước tính), nhưng có một số tình huống trong đó xây dựng, phương tiện có thể là 0 (ví dụ: một số thử nghiệm nhất định trong đó người tham gia chỉ định xếp hạng, nhưng bị hạn chế đưa ra các mặt tích cực và tiêu cực như nhau).

dat <- as.data.frame(scale(mtcars))

## intercept is 0 by design
lm(mpg ~ hp + wt, data = dat)

Coefficients:
(Intercept)           hp           wt  
  3.813e-17   -3.615e-01   -6.296e-01  

## leaving the intercept out    
lm(mpg ~ 0 + hp + wt, data = dat)

Coefficients:
     hp       wt  
-0.3615  -0.6296  

Ví dụ 3: Mô hình đa biến và các hàm ẩn. Ví dụ này tương tự như lần đầu tiên theo nhiều cách. Trong trường hợp này, dữ liệu đã được xếp chồng lên nhau sao cho hai biến khác nhau nằm trong một vectơ dài. Một biến thứ hai mã hóa thông tin về việc vectơ đáp ứng y, thuộc mpghay disp. Trong trường hợp này, để có được các lần chặn riêng cho từng kết quả, bạn triệt tiêu chặn chặn tổng thể và bao gồm cả các vectơ giả để đo. Đây là một loại phân tích đa biến. Nó thường không được thực hiện bằng cách sử dụnglm()bởi vì bạn đã lặp đi lặp lại các biện pháp và có lẽ nên cho phép sự không quan tâm. Tuy nhiên, có một số trường hợp thú vị mà điều này là cần thiết. Ví dụ, khi cố gắng thực hiện phân tích hòa giải với các hiệu ứng ngẫu nhiên, để có được ma trận hiệp phương sai đầy đủ, bạn cần cả hai mô hình ước tính đồng thời, có thể được thực hiện bằng cách xếp chồng dữ liệu và sử dụng thông minh các vectơ giả.

## stack data for multivariate analysis
dat <- reshape(mtcars, varying = c(1, 3), v.names = "y",
  timevar = "measure", times = c("mpg", "disp"), direction = "long")
dat$measure <- factor(dat$measure)

## two regressions with intercepts only
lm(cbind(mpg, disp) ~ 1, data = mtcars)

Coefficients:
             mpg     disp  
(Intercept)   20.09  230.72

## using the stacked data, measure is difference between outcome means
lm(y ~ measure, data = dat)

Coefficients:
(Intercept)   measurempg  
      230.7       -210.6  

## separate 'intercept' for each outcome
lm(y ~ 0 + measure, data = dat)

Coefficients:
measuredisp   measurempg  
     230.72        20.09  

Tôi không tranh luận rằng nói chung nên loại bỏ các can thiệp, nhưng nó là tốt để linh hoạt.

Có câu trả lời tốt ở đây. Hai điều nhỏ:

1. $R^2$$R^2$$R^2$
2. $X$ngay cả khi đánh chặn thực sự là 0 .

Bạn không nên bỏ chặn, bất kể bạn có khả năng hay không bao giờ thấy tất cả các biến giải thích có giá trị bằng không.

Có một câu trả lời tốt cho một câu hỏi rất giống ở đây .

Nếu bạn loại bỏ đánh chặn thì tất cả các ước tính khác đều trở nên sai lệch. Ngay cả khi giá trị thực của chặn chặn xấp xỉ bằng 0 (đó là tất cả những gì bạn có thể kết luận từ dữ liệu của mình), bạn vẫn đang loay hoay với các sườn dốc nếu bạn buộc nó phải chính xác bằng không.

KHÔNG GIỚI HẠN - bạn đang đo một cái gì đó với một mô hình vật lý rất rõ ràng và rõ ràng yêu cầu chặn bằng 0 (ví dụ: bạn có chiều cao, chiều rộng và chiều dài của hình lăng trụ hình chữ nhật là biến giải thích và biến phản ứng là âm lượng với một số lỗi đo lường). Nếu biến trả lời của bạn là giá trị của ngôi nhà, bạn chắc chắn cần phải rời khỏi phần chặn.

OK, vì vậy bạn đã thay đổi câu hỏi rất nhiều

Bạn có thể bỏ qua phần chặn khi bạn biết nó là 0. Đó là nó. Và không, bạn không thể làm điều đó bởi vì nó không khác biệt đáng kể so với 0, bạn phải biết nó là 0 hoặc phần dư của bạn bị sai lệch. Và, trong trường hợp đó là 0 nên nó sẽ không tạo ra bất kỳ sự khác biệt nào nếu bạn bỏ nó đi ... do đó, đừng bao giờ bỏ qua nó.

$R^2$

Hầu hết các mô hình hồi quy bội bao gồm một thuật ngữ không đổi (nghĩa là chặn), vì điều này đảm bảo rằng mô hình sẽ không thiên vị - nghĩa là giá trị trung bình của phần dư sẽ chính xác bằng không. (Các hệ số trong mô hình hồi quy được ước tính theo bình phương tối thiểu - nghĩa là giảm thiểu sai số bình phương trung bình. Bây giờ, sai số bình phương trung bình bằng phương sai của các lỗi cộng với bình phương trung bình của chúng: đây là nhận dạng toán học. giá trị của hằng số trong mô hình thay đổi giá trị trung bình của các lỗi nhưng không ảnh hưởng đến phương sai. Do đó, nếu tổng các lỗi bình phương được giảm thiểu, thì phải chọn hằng số sao cho giá trị trung bình của các lỗi bằng không. )

Trong mô hình hồi quy đơn giản, hằng số đại diện cho giao thoa Y của đường hồi quy, ở dạng không chuẩn. Trong mô hình hồi quy bội, hằng số biểu thị giá trị sẽ được dự đoán cho biến phụ thuộc nếu tất cả các biến độc lập đồng thời bằng 0 - một tình huống có thể không có ý nghĩa về mặt kinh tế hoặc vật lý. Nếu bạn không đặc biệt quan tâm đến những gì sẽ xảy ra nếu tất cả các biến độc lập đồng thời bằng 0, thì bạn thường để hằng số trong mô hình bất kể ý nghĩa thống kê của nó. Ngoài việc đảm bảo rằng các lỗi trong mẫu không thiên vị, sự hiện diện của hằng số cho phép đường hồi quy "tìm mức riêng" và cung cấp mức phù hợp nhất với dữ liệu chỉ có thể là tuyến tính cục bộ.

Tuy nhiên, trong những trường hợp hiếm hoi, bạn có thể muốn loại trừ hằng số khỏi mô hình. Đây là một tùy chọn phù hợp với mô hình trong quy trình hồi quy trong bất kỳ gói phần mềm nào và đôi khi nó được gọi là hồi quy thông qua nguồn gốc hoặc viết tắt là RTO. Thông thường, điều này sẽ được thực hiện chỉ khi:

1. Có thể tưởng tượng tất cả các biến độc lập đều giả sử đồng thời giá trị 0 và bạn cảm thấy rằng trong trường hợp này, nên tuân theo logic rằng biến phụ thuộc cũng sẽ bằng 0; hoặc cái gì đó khác
2. hằng số là dự phòng với tập hợp các biến độc lập bạn muốn sử dụng.

Một ví dụ về trường hợp (1) sẽ là một mô hình trong đó tất cả các biến - phụ thuộc và độc lập - thể hiện sự khác biệt đầu tiên của chuỗi thời gian khác. Nếu bạn đang hồi quy sự khác biệt đầu tiên của Y về sự khác biệt đầu tiên của X, bạn đang dự đoán trực tiếp các thay đổi trong Y là hàm tuyến tính của các thay đổi trong X, mà không cần tham chiếu đến các mức hiện tại của các biến. Trong trường hợp này, có thể hợp lý (mặc dù không bắt buộc) khi cho rằng Y không thay đổi, trung bình, bất cứ khi nào X không thay đổi - nghĩa là Y không nên có xu hướng tăng hoặc giảm trong trường hợp không có bất kỳ thay đổi nào trong cấp độ X.

Một ví dụ về trường hợp (2) sẽ là một tình huống trong đó bạn muốn sử dụng một bộ đầy đủ các biến chỉ báo theo mùa - ví dụ: bạn đang sử dụng dữ liệu hàng quý và bạn muốn bao gồm các biến Q1, Q2, Q3 và Q4 đại diện cho phụ gia tác dụng theo mùa. Do đó, Q1 có thể trông giống như 1 0 0 0 1 0 0 0 ..., Q2 sẽ giống như 0 1 0 0 0 1 0 0 ..., v.v. Bạn không thể sử dụng tất cả bốn trong số này và một hằng số trong cùng một mô hình, vì Q1 + Q2 + Q3 + Q4 = 1 1 1 1 1 1 1 1. . . . , đó là giống như một thuật ngữ không đổi. Tức là, năm biến Q1, Q2, Q3, Q4 và CONSTANT không độc lập tuyến tính: bất kỳ một trong số chúng có thể được biểu diễn dưới dạng kết hợp tuyến tính của bốn biến còn lại. Một điều kiện tiên quyết kỹ thuật để phù hợp với mô hình hồi quy tuyến tính là các biến độc lập phải độc lập tuyến tính; mặt khác, các hệ số bình phương nhỏ nhất không thể được xác định duy nhất,

Một lời cảnh báo: R bình phương và thống kê F không có cùng ý nghĩa trong mô hình RTO giống như trong mô hình hồi quy thông thường và chúng không được tính theo cùng một cách bởi tất cả các phần mềm. Xem bài viết này cho một số hãy cẩn thận. Bạn không nên cố gắng so sánh bình phương R giữa các mô hình thực hiện và không bao gồm một thuật ngữ không đổi, mặc dù có thể so sánh lỗi tiêu chuẩn của hồi quy.

Lưu ý rằng thuật ngữ "độc lập" được sử dụng theo (ít nhất) ba cách khác nhau trong thuật ngữ hồi quy: bất kỳ biến đơn lẻ nào cũng có thể được gọi là biến độc lập nếu nó được sử dụng như một công cụ dự đoán, thay vì dự đoán. Một nhóm các biến là độc lập tuyến tính nếu không ai trong số chúng có thể được biểu diễn chính xác như một tổ hợp tuyến tính của các biến khác. Một cặp biến được cho là độc lập thống kê nếu chúng không chỉ độc lập tuyến tính mà còn hoàn toàn không có ý nghĩa đối với nhau. Trong mô hình hồi quy, bạn muốn biến phụ thuộc của mình phụ thuộc thống kê vào các biến độc lập, chúng phải độc lập tuyến tính (nhưng không nhất thiết phải thống kê) với nhau.

Sửa đổi đầy đủ những suy nghĩ của tôi. Thực sự thả đánh chặn sẽ gây ra một vấn đề thiên vị.

Bạn đã xem xét việc định tâm dữ liệu của mình sao cho việc chặn sẽ có ý nghĩa nhất định và tránh giải thích làm thế nào một số giá trị (không hợp lý) có thể đưa ra giá trị âm? Nếu bạn điều chỉnh cả ba biến giải thích bằng cách trừ sqrft trung bình, lotize trung bình và tắm trung bình, thì phần chặn bây giờ sẽ chỉ ra giá trị (của một ngôi nhà?) Với sdrft trung bình, lotize và tắm.

Việc định tâm này sẽ không thay đổi mối quan hệ tương đối của các biến độc lập. Vì vậy, việc lắp mô hình vào dữ liệu trung tâm vẫn sẽ thấy phòng tắm là không đáng kể. Trang bị lại mô hình mà không cần tắm. Bạn vẫn có thể nhận được giá trị p lớn cho phần chặn, nhưng nó nên được đưa vào và bạn sẽ có một mô hình có dạng y = a + b (sqrft) + c (lotize).

Tôi chỉ dành một chút thời gian để trả lời một câu hỏi tương tự được đăng bởi người khác, nhưng nó đã bị đóng. Có một số câu trả lời tuyệt vời ở đây, nhưng câu trả lời tôi cung cấp đơn giản hơn một chút. Nó có thể phù hợp hơn với những người có hiểu biết yếu về hồi quy.

Q1: Làm thế nào để tôi giải thích việc chặn trong mô hình của tôi?

Trong các mô hình hồi quy, mục tiêu là giảm thiểu lượng phương sai không giải thích được trong một biến kết quả:

y = b0 + b1⋅x +

Trong đó y là giá trị dự đoán của thước đo kết quả của bạn (ví dụ: log_blood_hg), b0 là phần chặn, b1 là độ dốc, x là biến dự đoán và là lỗi dư.

Giá trị chặn (b0) là giá trị trung bình dự đoán của y khi tất cả x = 0. Nói cách khác, đó là giá trị cơ bản của y, trước khi bạn sử dụng bất kỳ biến nào (ví dụ: loài) để tiếp tục giảm thiểu hoặc giải thích phương sai trong log_blood_hg .

Bằng cách thêm độ dốc (ước tính mức tăng / giảm một đơn vị của log_blood_hg thay đổi với mức tăng một đơn vị trong x, ví dụ: loài), chúng tôi thêm vào những gì chúng ta đã biết về biến kết quả, đó là giá trị cơ bản của nó (nghĩa là đánh chặn), dựa trên sự thay đổi trong một biến khác.

Câu 2: Khi nào thì thích hợp để bao gồm hay không bao gồm đánh chặn, đặc biệt là liên quan đến thực tế là các mô hình cho kết quả rất khác nhau?

Đối với các mô hình đơn giản như thế này, sẽ không bao giờ thực sự thích hợp để bỏ chặn.

Các mô hình cho kết quả khác nhau khi bạn thả chặn vì thay vì nối đất theo giá trị cơ bản của Y, nó buộc phải đi qua gốc của y, bằng 0. Do đó, độ dốc trở nên dốc hơn (nghĩa là mạnh hơn và có ý nghĩa ) bởi vì bạn đã buộc dòng thông qua nguồn gốc, không phải vì nó làm tốt hơn việc giảm thiểu phương sai trong y. Nói cách khác, bạn đã tạo một mô hình một cách giả tạo nhằm giảm thiểu phương sai trong y bằng cách loại bỏ phần chặn hoặc điểm nối đất ban đầu cho mô hình của bạn.

Có những trường hợp loại bỏ chặn là thích hợp - chẳng hạn như khi mô tả một hiện tượng với chặn 0. Bạn có thể đọc về điều đó ở đây , cũng như nhiều lý do tại sao loại bỏ một cuộc đánh chặn không phải là một ý tưởng tốt.

$R^2$$R^2$$R^2$

Kết luận: KHÔNG TÌM HIỂU R INTER RÀNG CỦA MÔ HÌNH (trừ khi bạn thực sự, thực sự biết bạn đang làm gì).

$X$$s=v t$ trong đó không có hằng số. Nhưng ngay cả khi đó, nếu mô hình chỉ gần đúng (tốc độ không thực sự không đổi), tốt hơn là nên để trong một hằng số ngay cả khi nó không thể được giải thích.

Ngoài ra còn có các mô hình đặc biệt mà bỏ qua đánh chặn. Một ví dụ là dữ liệu được ghép nối, nghiên cứu sinh đôi .