Tóm tắt về sự phù hợp của GAM


12

Nếu chúng tôi phù hợp với một GAM như:

gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + 
    s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College)

Ở đâu, chúng tôi sử dụng tập dữ liệu College, có thể được tìm thấy bên trong gói ISLR.
Bây giờ, nếu chúng ta tìm thấy bản tóm tắt của sự phù hợp này, thì chúng ta có thể thấy rằng:

> summary(gam.fit)

Call: gam(formula = Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, 
    df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, 
    df = 2), data = College)
Deviance Residuals:
     Min       1Q   Median       3Q      Max 
-7522.66 -1140.99    55.18  1287.51  7918.22 

(Dispersion Parameter for gaussian family taken to be 3475698)

    Null Deviance: 12559297426 on 776 degrees of freedom
Residual Deviance: 2648482333 on 762.0001 degrees of freedom
AIC: 13924.52 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
                        Df     Sum Sq    Mean Sq F value    Pr(>F)    
Private                  1 3377801998 3377801998 971.834 < 2.2e-16 ***
s(Room.Board, df = 2)    1 2484460409 2484460409 714.809 < 2.2e-16 ***
s(PhD, df = 2)           1  839368837  839368837 241.496 < 2.2e-16 ***
s(perc.alumni, df = 2)   1  509679160  509679160 146.641 < 2.2e-16 ***
s(Expend, df = 5)        1 1019968912 1019968912 293.457 < 2.2e-16 ***
s(Grad.Rate, df = 2)     1  148052210  148052210  42.596 1.227e-10 ***
Residuals              762 2648482333    3475698                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Anova for Nonparametric Effects
                       Npar Df Npar F   Pr(F)    
(Intercept)                                      
Private                                          
s(Room.Board, df = 2)        1  3.480 0.06252 .  
s(PhD, df = 2)               1  1.916 0.16668    
s(perc.alumni, df = 2)       1  1.471 0.22552    
s(Expend, df = 5)            4 34.350 < 2e-16 ***
s(Grad.Rate, df = 2)         1  1.981 0.15971    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Ở đây, tôi không hiểu ý nghĩa của phần "Anova cho các hiệu ứng tham số" cũng như "Anova cho các hiệu ứng không tham số". Mặc dù tôi biết công việc của thử nghiệm ANOVA, nhưng tôi không thể hiểu được phần "hiệu ứng tham số" và "hiệu ứng không tham số" của bản tóm tắt. Vậy, ý nghĩa của chúng là gì? Ý nghĩa của chúng là gì?


Câu hỏi này phát sinh do một phần (d) của câu trả lời này , cho câu hỏi 10, chương 7 của Giới thiệu về Học tập thống kê .

Câu trả lời:


22

Cách đầu ra của cách tiếp cận này để phù hợp với GAM được cấu trúc là nhóm các phần tuyến tính của bộ làm mịn theo các thuật ngữ tham số khác. Thông báo Privatecó một mục trong bảng đầu tiên nhưng mục đó trống trong mục thứ hai. Điều này là bởi vì Privatelà một thuật ngữ tham số nghiêm ngặt; nó là một biến nhân tố và do đó được liên kết với một tham số ước tính đại diện cho tác động của Private. Lý do các thuật ngữ trơn được tách thành hai loại hiệu ứng là vì đầu ra này cho phép bạn quyết định xem một thuật ngữ trơn tru có

  1. một hiệu ứng phi tuyến : nhìn vào bảng không tham số và đánh giá ý nghĩa. Nếu có ý nghĩa, để lại như một hiệu ứng phi tuyến trơn tru. Nếu không đáng kể, hãy xem xét hiệu ứng tuyến tính (2. bên dưới)
  2. một hiệu ứng tuyến tính : nhìn vào bảng tham số và đánh giá tầm quan trọng của hiệu ứng tuyến tính. Nếu có ý nghĩa, bạn có thể biến thuật ngữ thành trơn tru s(x)-> xtrong công thức mô tả mô hình. Nếu không đáng kể, bạn có thể xem xét bỏ hoàn toàn thuật ngữ khỏi mô hình (nhưng hãy cẩn thận với điều này --- có nghĩa là một tuyên bố mạnh mẽ rằng hiệu ứng thực sự là == 0).

Bảng tham số

Các mục nhập ở đây giống như những gì bạn nhận được nếu bạn trang bị mô hình tuyến tính này và tính toán bảng ANOVA, ngoại trừ không có ước tính nào cho bất kỳ hệ số mô hình liên quan nào được hiển thị. Thay vì các hệ số ước tính và sai số chuẩn và các thử nghiệm t hoặc Wald liên quan , lượng phương sai được giải thích (tính theo tổng bình phương) được hiển thị cùng với các thử nghiệm F. Cũng như các mô hình hồi quy khác được trang bị nhiều hiệp phương sai (hoặc hàm của hiệp phương sai), các mục trong bảng có điều kiện dựa trên các điều khoản / hàm khác trong mô hình.

Bảng không đối xứng

Các hiệu ứng phi tham số liên quan đến các phần phi tuyến của máy làm mịn được trang bị. Không phải các hiệu ứng phi tuyến này là đáng kể ngoại trừ hiệu ứng phi tuyến của Expend. Có một số bằng chứng về hiệu ứng phi tuyến của Room.Board. Mỗi trong số này được liên kết với một số mức độ tự do không tham số ( Npar Df) và chúng giải thích một lượng biến thể trong phản hồi, mức độ được đánh giá thông qua kiểm tra F (theo mặc định, xem đối số test).

Các thử nghiệm này trong phần không tham số có thể được hiểu là thử nghiệm giả thuyết khống về mối quan hệ tuyến tính thay vì mối quan hệ phi tuyến tính .

Cách bạn có thể diễn giải điều này là chỉ Expendđảm bảo được coi là hiệu ứng phi tuyến trơn tru. Các mịn khác có thể được chuyển đổi sang các thuật ngữ tham số tuyến tính. Bạn có thể muốn kiểm tra xem độ mịn Room.Boardtiếp tục có hiệu ứng không tham số không đáng kể sau khi bạn chuyển đổi các độ mịn khác thành các thuật ngữ tuyến tính, tham số; nó có thể là hiệu ứng của Room.Boardhơi phi tuyến nhưng điều này đang bị ảnh hưởng bởi sự hiện diện của các điều khoản trơn tru khác trong mô hình.

Tuy nhiên, rất nhiều điều này có thể phụ thuộc vào thực tế là nhiều sự trơn tru chỉ được phép sử dụng 2 bậc tự do; tại sao 2?

Lựa chọn độ mịn tự động

Các cách tiếp cận mới hơn để phù hợp với GAM sẽ chọn mức độ mượt mà cho bạn thông qua các phương pháp lựa chọn độ mịn tự động như cách tiếp cận spline bị phạt của Simon Wood như được thực hiện trong gói mgcv được đề xuất :

data(College, package = 'ISLR')
library('mgcv')

set.seed(1)
nr <- nrow(College)
train <- with(College, sample(nr, ceiling(nr/2)))
College.train <- College[train, ]
m <- mgcv::gam(Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
               s(Expend) + s(Grad.Rate), data = College.train,
               method = 'REML')

Tóm tắt mô hình ngắn gọn hơn và trực tiếp xem xét hàm tổng thể trơn tru hơn là đóng góp tuyến tính (tham số) và phi tuyến tính (không tham số):

> summary(m)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8544.1      217.2  39.330   <2e-16 ***
PrivateYes    2499.2      274.2   9.115   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.190  2.776 20.233 3.91e-11 ***
s(PhD)         2.433  3.116  3.037 0.029249 *  
s(perc.alumni) 1.656  2.072 15.888 1.84e-07 ***
s(Expend)      4.528  5.592 19.614  < 2e-16 ***
s(Grad.Rate)   2.125  2.710  6.553 0.000452 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.2%
-REML = 3436.4  Scale est. = 3.3143e+06  n = 389

Bây giờ đầu ra tập hợp các thuật ngữ trơn tru và các thuật ngữ tham số vào các bảng riêng biệt, với các điều khoản sau nhận được một đầu ra quen thuộc hơn tương tự như mô hình tuyến tính. Các điều khoản trơn tru toàn bộ hiệu ứng được hiển thị trong bảng dưới. Đây không phải là các thử nghiệm tương tự như đối với gam::gammô hình bạn hiển thị; chúng là các thử nghiệm chống lại giả thuyết null rằng hiệu ứng mịn là một đường thẳng, nằm ngang, hiệu ứng null hoặc cho thấy hiệu ứng bằng không. Thay thế là hiệu ứng phi tuyến thực sự khác với số không.

Lưu ý rằng các EDF đều lớn hơn 2 ngoại trừ s(perc.alumni), cho thấy rằng gam::gammô hình có thể bị hạn chế một chút.

Các mịn được trang bị để so sánh được đưa ra bởi

plot(m, pages = 1, scheme = 1, all.terms = TRUE, seWithMean = TRUE)

sản xuất

nhập mô tả hình ảnh ở đây

Lựa chọn độ mịn tự động cũng có thể được đồng ý chọn để thu hẹp các thuật ngữ ra khỏi mô hình hoàn toàn:

Làm xong điều đó, chúng tôi thấy rằng sự phù hợp của mô hình không thực sự thay đổi

> summary(m2)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8539.4      214.8  39.755   <2e-16 ***
PrivateYes    2505.7      270.4   9.266   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.260      9  6.338 3.95e-14 ***
s(PhD)         1.809      9  0.913  0.00611 ** 
s(perc.alumni) 1.544      9  3.542 8.21e-09 ***
s(Expend)      4.234      9 13.517  < 2e-16 ***
s(Grad.Rate)   2.114      9  2.209 1.01e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.1%
-REML = 3475.3  Scale est. = 3.3145e+06  n = 389

Tất cả các độ mịn dường như đề xuất các hiệu ứng phi tuyến tính ngay cả sau khi chúng ta thu nhỏ các phần tuyến tính và phi tuyến của các spline.

Cá nhân, tôi thấy đầu ra từ mgcv dễ diễn giải hơn và bởi vì nó đã được chứng minh rằng các phương pháp chọn độ mịn tự động sẽ có xu hướng phù hợp với hiệu ứng tuyến tính nếu được dữ liệu hỗ trợ.


4
+1 Giải thích tuyệt vời. (Tôi tò mò ý của bạn về "thử nghiệm F không theo tỷ lệ", mặc dù: nó khác với thử nghiệm F tiêu chuẩn như thế nào, nếu có?)
whuber

4
@whuber đó chỉ là phrasing kém; nó là một thử nghiệm F tiêu chuẩn, nhưng do sự phân rã mịn thành các phần tuyến tính và phi tuyến, đó là các thử nghiệm về cái mà đầu ra gọi là bit "không đối xứng". Tôi sẽ chỉnh sửa nó.
Phục hồi Monica - G. Simpson

3
giá trị p không hoạt động theo cách đó; để thử nghiệm thậm chí được thực hiện, chúng tôi đã giả định rằng giả thuyết null là đúng . Những gì bài kiểm tra đang làm là nói, giả sử rằng mối quan hệ là tuyến tính, có bao nhiêu mâu thuẫn với giả định đó là bằng chứng do dữ liệu mang lại? Nếu bằng chứng do dữ liệu mang lại phù hợp với dữ liệu mà chúng tôi mong đợi nếu null là đúng. Nếu bằng chứng không phù hợp với giả thuyết null thì chúng ta khó có thể quan sát được dữ liệu chúng ta đã làm nếu null là đúng. Giá trị p là thước đo bằng chứng chống lại null.
Phục hồi Monica - G. Simpson

1
Bạn nói về bảng tham số: "Các mục nhập ở đây về cơ bản là những gì bạn nhận được nếu bạn trang bị mô hình tuyến tính này và tính toán bảng ANOVA." Tôi cho rằng điều này không đúng theo nghĩa đen (nghĩa là phần phi tuyến của mô hình không ảnh hưởng đến các ước tính quan trọng cho phần tuyến tính). Chắc chắn việc ước tính các phần tuyến tính và phi tuyến được thực hiện cùng nhau, và phần phi tuyến tính ảnh hưởng đến các hệ số cho phần tuyến tính cũng như có ý nghĩa, phải không?
Jacob Socolar

1
@JacobSocolar Theo tôi hiểu, spline có thể phân hủy thành một thành phần tuyến tính và một số thành phần phi tuyến tính (số lượng phụ thuộc vào mức độ tự do cho phép của spline). Ý tôi là đây là loại đầu ra mà bạn nhận được từ một mô hình tuyến tính phù hợp với ANOVA (tức là thử nghiệm F cho bình phương trung bình). Bute có, đây là những hiệu ứng một phần theo nghĩa là phương sai được giải thích bởi một phần của mô hình phụ thuộc vào các điều khoản khác (& các hàm cơ bản) trong mô hình. Và vâng, tôi không có nghĩa là trích dẫn theo nghĩa đen; Tôi sẽ điều chỉnh lại "như những gì bạn sẽ ...".
Phục hồi Monica - G. Simpson
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.