Hồi quy từng bước trong R - Giá trị p quan trọng

Giá trị p quan trọng được sử dụng bởi step()hàm trong R để hồi quy từng bước là gì? Tôi giả sử nó là 0,15, nhưng giả định của tôi có đúng không? Làm thế nào tôi có thể thay đổi giá trị p quan trọng?

r regression p-value stepwise-regression

— Jason Samuels
nguồn

Chức năng 'bước' của R dựa trên AIC.

— Michael M

Tốt nhất là không sử dụng các thói quen lựa chọn mô hình từng bước. Để hiểu lý do tại sao, nó có thể giúp bạn đọc câu trả lời của tôi ở đây: Thuật toán để chọn mô hình tự động .

— gung - Phục hồi Monica

Hơn nữa với nhận xét của @ MichaelMayer: toàn Descriptionbộ phần trợ giúp để ?stepnói, toàn bộ: Chọn mô hình dựa trên công thức của AIC.

— Stephan Kolassa

Câu trả lời:

Như tôi đã giải thích trong nhận xét của mình về câu hỏi khác của bạn, stepsử dụng AIC thay vì giá trị p.

Tuy nhiên, đối với một đơn biến tại một thời điểm, AIC không tương ứng với việc sử dụng một giá trị p là 0,15 (hay nói chính xác hơn, 0,1573):

Xem xét so sánh hai mô hình, khác nhau bởi một biến duy nhất. Gọi các mô hình (mô hình nhỏ hơn) và (mô hình lớn hơn) và để AIC của chúng lần lượt là và . $\cal{M}_0$ $\cal{M}_1$ $\text{AIC}_0$ $\text{AIC}_1$

Sử dụng tiêu chí AIC, bạn sẽ sử dụng mô hình lớn hơn nếu . Đây sẽ là trường hợp nếu . $\text{AIC}_1<\text{AIC}_0$ $-2\log\cal{L_0}-(-2\log\cal{L_1})>2$

Nhưng đây chỉ đơn giản là số liệu thống kê trong một thử nghiệm tỷ lệ khả năng. Từ định lý Wilks', chúng tôi sẽ từ chối null nếu thống kê vượt trên quantile của một . Vì vậy, nếu chúng tôi sử dụng kiểm tra giả thuyết để chọn giữa mô hình nhỏ hơn và lớn hơn, chúng tôi chọn mô hình lớn hơn khi $\alpha$ $\chi^2_1$ . $-2\log\cal{L_0}-(-2\log\cal{L_1})>C_\alpha$

Bây giờ nằm ở tỷ lệ phần trăm 84,27 của $2$ $\chi^2_1$ $1-0.843=0.157$ $15.7\%$

Vậy làm thế nào để bạn sửa đổi nó?

Dễ dàng. Thay đổi ktham số steptừ 2 sang thứ khác. Bạn muốn 10% thay thế? Làm cho nó 2.7:

qchisq(0.10,1,lower.tail=FALSE)
[1] 2.705543

Bạn muốn 2,5%? Đặt k=5:

qchisq(0.025,1,lower.tail=FALSE)
[1] 5.023886

và như thế.

Tuy nhiên, mặc dù điều đó giải quyết được câu hỏi của bạn, tôi khuyên bạn nên chú ý đến câu trả lời của Frank Harrell cho câu hỏi khác của bạn và tìm kiếm câu trả lời từ rất nhiều nhà thống kê về các câu hỏi khác liên quan đến hồi quy từng bước ở đây, lời khuyên có xu hướng rất nhất quán để tránh các thủ tục từng bước nói chung.

— Glen_b -Reinstate Monica
nguồn

Giải thích tốt đẹp. Bạn có biết liệu điều này có đúng với các giá trị p của các bài kiểm tra hồi quy thông thường không?

— Ben Ogorek

α = 0.05

$\alpha=0.05$

(ctd) ... một loạt các vấn đề nghiêm trọng theo từng bước. Những người khác bao gồm ước tính sai lệch và lỗi tiêu chuẩn quá nhỏ.

— Glen_b -Reinstate Monica

Tạm thời đặt vấn đề sang một bên với lựa chọn mô hình từng bước, tôi quan tâm đến việc khái quát hóa quy tắc giá trị p nhỏ hơn AIC => .1573. Giá trị p Tỷ lệ khả năng bạn mô tả là tốt, nhưng trong các thói quen như R's lm, ước tính / std.err đang được so sánh với phân phối t. Đây là một thử nghiệm khác và tôi đã tự hỏi liệu kết quả .1573 của bạn có thể giữ được xấp xỉ không.

— Ben Ogorek

t

$t$

k

$k$

Như đã nói ở trên, step hàm trong R dựa trên các tiêu chí AIC. Nhưng tôi đoán theo p-value bạn có nghĩa là alpha để nhập và alpha để lại. Những gì bạn có thể làm là sử dụng chức năng stepwiseđược viết bởi Paul Rubin và có sẵn ở đây . Như bạn có thể thấy bạn có các đối số của alpha.to.enter và alpha.to.leave mà bạn có thể thay đổi. Lưu ý rằng chức năng này sử dụng kiểm tra F hoặc kiểm tra t tương đương để chọn các mô hình. Hơn nữa, nó có thể xử lý không chỉ hồi quy từng bước mà còn chuyển tiếp lựa chọn và loại bỏ lùi nếu bạn xác định đúng các đối số.

— Thống kê
nguồn