Tại sao có thể có được thống kê F đáng kể (p <0,001) nhưng kiểm tra hồi quy không đáng kể?

Trong hồi quy tuyến tính đa biến, tại sao có thể có thống kê F có ý nghĩa cao (p <0,001) nhưng có giá trị p rất cao trong tất cả các thử nghiệm t của biến hồi quy?

Trong mô hình của tôi, có 10 biến hồi quy. Một cái có giá trị p là 0,1 và phần còn lại trên 0,9

Để đối phó với vấn đề này, xem câu hỏi tiếp theo .

Như Rob đề cập, điều này xảy ra khi bạn có các biến tương quan cao. Ví dụ tiêu chuẩn tôi sử dụng là dự đoán trọng lượng từ cỡ giày. Bạn có thể dự đoán trọng lượng tốt như nhau với cỡ giày bên phải hoặc bên trái. Nhưng cùng nhau, nó không thành công.

Ví dụ mô phỏng ngắn gọn

RSS = 3:10 #Right shoe size
LSS = rnorm(RSS, RSS, 0.1) #Left shoe size - similar to RSS
cor(LSS, RSS) #correlation ~ 0.99

weights = 120 + rnorm(RSS, 10*RSS, 10)

##Fit a joint model
m = lm(weights ~ LSS + RSS)

##F-value is very small, but neither LSS or RSS are significant
summary(m)

##Fitting RSS or LSS separately gives a significant result. 
summary(lm(weights ~ LSS))

Phải mất rất ít mối tương quan giữa các biến độc lập để gây ra điều này.

Để xem tại sao, hãy thử như sau:

• Vẽ 50 bộ mười vectơ với các hệ số iid chuẩn thông thường.$(x_1, x_2, \ldots, x_{10})$

• Tính cho . Điều này làm cho tiêu chuẩn cá nhân bình thường nhưng với một số tương quan giữa chúng.$y_i = (x_i + x_{i+1})/\sqrt{2}$$i = 1, 2, \ldots, 9$$y_i$

• Tính toán . Lưu ý rằng .$w = x_1 + x_2 + \cdots + x_{10}$$w = \sqrt{2}(y_1 + y_3 + y_5 + y_7 + y_9)$

• Thêm một số lỗi phân phối thông thường độc lập vào . Với một thử nghiệm nhỏ tôi thấy rằng với hoạt động khá tốt. Do đó, là tổng của cộng với một số lỗi. Nó cũng là tổng của một số các cộng với lỗi tương tự.$w$$z = w + \varepsilon$$\varepsilon \sim N(0, 6)$$z$$x_i$$y_i$

Chúng ta sẽ coi là các biến độc lập và là biến phụ thuộc.$y_i$$z$

Đây là một ma trận phân tán của một tập dữ liệu như vậy, với dọc theo đỉnh và bên trái và tiến hành theo thứ tự.$z$$y_i$

Tương quan dự kiến ​​giữa và là khi và khác. Các mối tương quan nhận ra lên đến 62%. Chúng hiển thị như các biểu đồ phân tán chặt chẽ hơn bên cạnh đường chéo.$y_i$$y_j$$1/2$$|i-j|=1$$0$

Nhìn vào hồi quy của so với :$z$$y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  9,    40) =    4.57
       Model |  1684.15999     9  187.128887           Prob > F      =  0.0003
    Residual |  1636.70545    40  40.9176363           R-squared     =  0.5071
-------------+------------------------------           Adj R-squared =  0.3963
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3967

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.184007   1.264074     1.73   0.092    -.3707815    4.738795
          y2 |   1.537829   1.809436     0.85   0.400    -2.119178    5.194837
          y3 |   2.621185   2.140416     1.22   0.228    -1.704757    6.947127
          y4 |   .6024704   2.176045     0.28   0.783    -3.795481    5.000421
          y5 |   1.692758   2.196725     0.77   0.445    -2.746989    6.132506
          y6 |   .0290429   2.094395     0.01   0.989    -4.203888    4.261974
          y7 |   .7794273   2.197227     0.35   0.725    -3.661333    5.220188
          y8 |  -2.485206    2.19327    -1.13   0.264     -6.91797    1.947558
          y9 |   1.844671   1.744538     1.06   0.297    -1.681172    5.370514
       _cons |   .8498024   .9613522     0.88   0.382    -1.093163    2.792768
------------------------------------------------------------------------------

Thống kê F rất có ý nghĩa nhưng không có biến số độc lập nào, thậm chí không có bất kỳ sự điều chỉnh nào cho tất cả 9 biến số đó.

Để xem những gì đang xảy ra, hãy xem xét hồi quy của so với chỉ số số lẻ :$z$$y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  5,    44) =    7.77
       Model |  1556.88498     5  311.376997           Prob > F      =  0.0000
    Residual |  1763.98046    44  40.0904649           R-squared     =  0.4688
-------------+------------------------------           Adj R-squared =  0.4085
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3317

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.943948   .8138525     3.62   0.001     1.303736     4.58416
          y3 |   3.403871   1.080173     3.15   0.003     1.226925    5.580818
          y5 |   2.458887    .955118     2.57   0.013      .533973    4.383801
          y7 |  -.3859711   .9742503    -0.40   0.694    -2.349443    1.577501
          y9 |   .1298614   .9795983     0.13   0.895    -1.844389    2.104112
       _cons |   1.118512   .9241601     1.21   0.233    -.7440107    2.981034
------------------------------------------------------------------------------

Một số biến này rất có ý nghĩa, ngay cả với sự điều chỉnh Bonferroni. (Có nhiều điều có thể nói bằng cách nhìn vào những kết quả này, nhưng nó sẽ đưa chúng ta ra khỏi điểm chính.)

Trực giác đằng sau điều này là phụ thuộc chủ yếu vào một tập hợp con của các biến (nhưng không nhất thiết phải là một tập hợp con duy nhất). Phần bù của tập hợp con này ( ) về cơ bản không có thông tin nào về do các mối tương quan, tuy nhiên, một chút với chính tập hợp con.$z$$y_2, y_4, y_6, y_8$$z$

Loại tình huống này sẽ phát sinh trong phân tích chuỗi thời gian . Chúng ta có thể coi các chỉ số là thời gian. Việc xây dựng đã tạo ra một mối tương quan nối tiếp trong phạm vi ngắn giữa chúng, giống như nhiều chuỗi thời gian. Do đó, chúng tôi mất ít thông tin bằng cách chia nhỏ chuỗi theo chu kỳ.$y_i$

Một kết luận chúng ta có thể rút ra từ điều này là khi có quá nhiều biến được đưa vào một mô hình, chúng có thể che dấu những biến thực sự quan trọng. Dấu hiệu đầu tiên của điều này là thống kê F tổng thể có ý nghĩa cao đi kèm với các thử nghiệm t không quá quan trọng đối với các hệ số riêng lẻ. (Ngay cả khi một số các biến là cá nhân đáng kể, điều này không tự động có nghĩa là người khác không Đó là một trong những khiếm khuyết cơ bản của chiến lược hồi quy từng bước:. Họ trở thành nạn nhân cho vấn đề mặt nạ này.) Ngẫu nhiên, các yếu tố lạm phát đúngtrong phạm vi hồi quy đầu tiên từ 2,55 đến 6,09 với giá trị trung bình là 4,79: chỉ trên đường biên giới chẩn đoán một số bệnh đa nang theo các quy tắc bảo thủ nhất; thấp hơn ngưỡng theo các quy tắc khác (trong đó 10 là ngưỡng trên).

Đa sắc

• Như bạn lưu ý, và như đã được thảo luận trong câu hỏi trước đây , mức độ đa hình cao là một nguyên nhân chính của có ý nghĩa thống kê nhưng các yếu tố dự đoán không có ý nghĩa tĩnh.$R^2$
• Tất nhiên, tính đa hướng không chỉ là về một ngưỡng tuyệt đối. Các lỗi tiêu chuẩn về hệ số hồi quy sẽ tăng lên khi sự xen kẽ với mức tăng dự đoán đầu mối.

Nhiều dự báo gần như có ý nghĩa

• Ngay cả khi bạn không có tính đa hình, bạn vẫn có thể nhận được các yếu tố dự đoán không quan trọng và một mô hình có ý nghĩa tổng thể nếu hai hoặc nhiều dự đoán riêng lẻ gần với mức ý nghĩa và do đó, dự đoán chung vượt qua ngưỡng có ý nghĩa thống kê. Ví dụ: sử dụng hệ số alpha 0,05, nếu bạn có hai yếu tố dự đoán có giá trị p là 0,05 và 0,05, thì tôi sẽ không ngạc nhiên nếu mô hình tổng thể có p <0,05.

Điều này xảy ra khi các yếu tố dự đoán có mối tương quan cao. Hãy tưởng tượng một tình huống chỉ có hai yếu tố dự đoán có tương quan rất cao. Cá nhân, cả hai cũng tương quan chặt chẽ với các biến trả lời. Do đó, thử nghiệm F có giá trị p thấp (người ta nói rằng các yếu tố dự đoán cùng có ý nghĩa rất lớn trong việc giải thích sự thay đổi của biến phản ứng). Nhưng thử nghiệm t cho mỗi yếu tố dự đoán có giá trị p cao bởi vì sau khi cho phép hiệu ứng của yếu tố dự đoán khác, không còn nhiều điều để giải thích.

Hãy xem xét mô hình sau: , , , , và đều độc lập lẫn nhau .$X_1 \sim N(0,1)$$X_2 = a X_1 + \delta$$Y = bX_1 + cX_2 + \epsilon$$\delta$$\epsilon$$X_1$$N(0,1)$

Sau đó

Chúng ta có thể đặt giá trị này thành 0 khi nói , và . Tuy nhiên, tất cả các mối quan hệ rõ ràng sẽ ở đó và dễ dàng phát hiện với phân tích hồi quy.$a=1$$b=2$$c=-1$

Bạn nói rằng bạn hiểu vấn đề của các biến được tương quan và hồi quy là không đáng kể; điều đó có thể có nghĩa là bạn đã bị điều kiện bởi việc thường xuyên đề cập đến tính đa hình, nhưng bạn sẽ cần phải tăng cường sự hiểu biết của bạn về hình học của các hình vuông nhỏ nhất.

Một từ khóa để tìm kiếm sẽ là "collinearity" hoặc "multollinearity". Điều này có thể được phát hiện bằng cách sử dụng các chẩn đoán như Yếu tố lạm phát phương sai (VIF) hoặc các phương pháp như mô tả trong sách giáo khoa "Chẩn đoán hồi quy: Xác định dữ liệu ảnh hưởng và nguồn cộng tác" của Belsley, Kuh và Welsch. VIF dễ hiểu hơn nhiều, nhưng chúng không thể đối phó với cộng tuyến liên quan đến việc chặn (nghĩa là các yếu tố dự đoán gần như không đổi hoặc kết hợp tuyến tính) - ngược lại, chẩn đoán BKW ít trực quan hơn nhưng có thể xử lý các cộng tuyến liên quan việc đánh chặn.

Câu trả lời bạn nhận được phụ thuộc vào câu hỏi bạn hỏi. Ngoài các điểm đã thực hiện, các giá trị F tham số riêng lẻ và giá trị F của mô hình tổng thể trả lời các câu hỏi khác nhau, do đó chúng nhận được các câu trả lời khác nhau. Tôi đã thấy điều này xảy ra ngay cả khi các giá trị F riêng lẻ không gần với mức đáng kể, đặc biệt nếu mô hình có nhiều hơn 2 hoặc 3 IV. Tôi không biết cách nào để kết hợp các giá trị p riêng lẻ và nhận được bất cứ điều gì có ý nghĩa, mặc dù có thể có một cách.

Một điều khác cần ghi nhớ là các thử nghiệm trên các hệ số riêng lẻ đều cho rằng tất cả các yếu tố dự đoán khác đều nằm trong mô hình. Nói cách khác, mỗi yếu tố dự đoán không có ý nghĩa miễn là tất cả các yếu tố dự đoán khác có trong mô hình. Phải có một số tương tác hoặc phụ thuộc lẫn nhau giữa hai hoặc nhiều người dự đoán của bạn.

Như một người khác đã hỏi ở trên - làm thế nào bạn chẩn đoán thiếu đa hình?

Một cách để hiểu điều này là hình học của các ô vuông nhỏ nhất như @StasK gợi ý.

Một cách khác là nhận ra điều đó có nghĩa là X có liên quan đến Y khi kiểm soát các biến khác, nhưng không đơn độc. Bạn nói X liên quan đến phương sai duy nhất trong Y. Điều này đúng. Tuy nhiên, phương sai duy nhất trong Y khác với tổng phương sai. Vì vậy, phương sai nào là các biến khác loại bỏ?

Nó sẽ giúp nếu bạn có thể cho chúng tôi biết các biến của bạn.