Việc điều chỉnh giá trị p trong hồi quy bội cho nhiều so sánh có phải là một ý tưởng tốt không?

Giả sử bạn là một nhà nghiên cứu khoa học xã hội / nhà kinh tế lượng đang cố gắng tìm các dự đoán có liên quan về nhu cầu cho một dịch vụ. Bạn có 2 biến kết quả / phụ thuộc mô tả nhu cầu (sử dụng dịch vụ có / không và số lần). Bạn có 10 biến dự đoán / biến độc lập có thể giải thích theo lý thuyết về nhu cầu (ví dụ: tuổi, giới tính, thu nhập, giá cả, chủng tộc, v.v.). Chạy hai hồi quy riêng biệt sẽ mang lại 20 ước lượng hệ số và giá trị p của chúng. Với đủ các biến độc lập trong hồi quy của bạn, sớm muộn bạn cũng sẽ tìm thấy ít nhất một biến có mối tương quan có ý nghĩa thống kê giữa các biến phụ thuộc và biến độc lập.

Câu hỏi của tôi: có nên sửa các giá trị p cho nhiều thử nghiệm nếu tôi muốn bao gồm tất cả các biến độc lập trong hồi quy không? Bất kỳ tài liệu tham khảo cho công việc trước được đánh giá cao.

Có vẻ như câu hỏi của bạn thường giải quyết vấn đề xác định những người dự đoán tốt. Trong trường hợp này, bạn nên cân nhắc sử dụng một số loại hồi quy bị phạt (các phương thức xử lý lựa chọn biến hoặc tính năng cũng có liên quan), ví dụ như hình phạt L1, L2 (hoặc kết hợp của chúng, các hình phạt được gọi là co giãn ) (tìm các câu hỏi liên quan trên trang web này, hoặc gói R bị phạt và thunnet , trong số những người khác).

Bây giờ, về việc sửa các giá trị p cho các hệ số hồi quy của bạn (hoặc tương đương với các hệ số tương quan một phần của bạn) để bảo vệ chống lại sự lạc quan thái quá (ví dụ với Bonferroni hoặc, tốt hơn, các phương pháp từ chối), có vẻ như điều này chỉ phù hợp nếu bạn đang xem xét một mô hình và tìm kiếm các yếu tố dự đoán đóng góp một phần đáng kể của phương sai được giải thích, đó là nếu bạn không thực hiện lựa chọn mô hình (với lựa chọn từng bước hoặc thử nghiệm phân cấp). Bài viết này có thể là một khởi đầu tốt: Điều chỉnh Bonferroni trong các thử nghiệm cho hệ số hồi quy . Xin lưu ý rằng việc hiệu chỉnh như vậy sẽ không bảo vệ bạn trước vấn đề đa cộng đồng, ảnh hưởng đến các giá trị p được báo cáo.

Với dữ liệu của bạn, tôi khuyên bạn nên sử dụng một số loại kỹ thuật chọn mô hình lặp. Ví dụ, trong R, stepAIChàm cho phép thực hiện lựa chọn mô hình từng bước bằng AIC chính xác. Bạn cũng có thể ước tính tầm quan trọng tương đối của các yếu tố dự đoán của mình dựa trên đóng góp của chúng cho bằng cách sử dụng boostrap (xem gói relaimpo ). Tôi nghĩ rằng đo kích thước hiệu ứng báo cáo hoặc% phương sai được giải thích có nhiều thông tin hơn giá trị p, đặc biệt là trong một mô hình xác nhận.$R^2$

Cần lưu ý rằng các cách tiếp cận từng bước cũng có nhược điểm của chúng (ví dụ: các xét nghiệm Wald không thích ứng với giả thuyết có điều kiện như được gây ra bởi quy trình từng bước), hoặc như được chỉ ra bởi Frank Harrell trên R gửi thư , "lựa chọn biến theo từng bước dựa trên AIC có tất cả các vấn đề về lựa chọn biến theo từng bước dựa trên các giá trị P. AIC chỉ là sự phục hồi của Giá trị P "(nhưng AIC vẫn hữu ích nếu tập hợp các yếu tố dự đoán đã được xác định); một câu hỏi liên quan - Là một biến có ý nghĩa trong mô hình hồi quy tuyến tính? - đưa ra những bình luận thú vị ( @Rob , trong số những người khác) về việc sử dụng AIC để lựa chọn biến. Tôi nối thêm một vài tài liệu tham khảo ở cuối (bao gồm các giấy tờ được cung cấp bởi @Stephan); cũng có rất nhiều tài liệu tham khảo khác về P.Mean .

Frank Harrell là tác giả của một cuốn sách về Chiến lược mô hình hồi quy bao gồm rất nhiều cuộc thảo luận và lời khuyên xung quanh vấn đề này (§4.3, trang 56-60). Ông cũng đã phát triển các thói quen R hiệu quả để đối phó với các mô hình tuyến tính tổng quát (Xem các gói Thiết kế hoặc rms ). Vì vậy, tôi nghĩ rằng bạn chắc chắn phải xem qua nó ( tài liệu của anh ấy có sẵn trên trang chủ của anh ấy).

Người giới thiệu

1. Whmitham, MJ, Stephens, P, Bradbury, RB và Freckleton, RP (2006). Tại sao chúng ta vẫn sử dụng mô hình hóa từng bước trong sinh thái và hành vi? Tạp chí sinh thái động vật , 75 , 1182-1189.
2. Austin, PC (2008). Lựa chọn mô hình Bootstrap có hiệu suất tương tự để chọn các biến xác thực và nhiễu so với loại bỏ biến lùi: một nghiên cứu mô phỏng . Tạp chí Dịch tễ học lâm sàng , 61 (10) , 1009-1017.
3. Austin, PC và Tu, Liên doanh (2004). Các phương pháp lựa chọn biến tự động cho hồi quy logistic đã tạo ra các mô hình không ổn định để dự đoán tỷ lệ tử vong nhồi máu cơ tim cấp tính . Tạp chí Dịch tễ học lâm sàng , 57 , 1138 Từ1146.
4. Greenland, S (1994). Hồi quy phân cấp cho các phân tích dịch tễ học của nhiều phơi nhiễm . Quan điểm về sức khỏe môi trường , 102 (Cung 8) , 33 Chân39.
5. Greenland, S (2008). Nhiều so sánh và lựa chọn hiệp hội trong dịch tễ học nói chung . Tạp chí quốc tế về dịch tễ học , 37 (3) , 430-434.
6. Beyene, J, Atenafu, EG, Hamid, JS, To, T và Sung L (2009). Xác định tầm quan trọng tương đối của các biến trong việc phát triển và xác nhận các mô hình dự đoán . Phương pháp nghiên cứu y học BMC , 9 , 64.
7. Bursac, Z, Gauss, CH, Williams, DK và Hosmer, DW (2008). Lựa chọn có chủ đích các biến trong hồi quy logistic . Mã nguồn cho Sinh học và Y học , 3 , 17.
8. Brombin, C, Finos, L và Salmaso, L (2007). Điều chỉnh giá trị p từng bước trong các mô hình tuyến tính tổng quát . Hội nghị quốc tế về nhiều thủ tục so sánh . - xem step.adj()trong gói R someMTP .
9. Wiegand, RE (2010). Hiệu suất của việc sử dụng nhiều thuật toán từng bước để lựa chọn biến . Thống kê trong Y học , 29 (15), 1647 211659.
10. Moons KG, Donders AR, Steyerberg EW và Harrell FE (2004). Dự toán khả năng ước tính tối đa để dự đoán kết quả nhị phân. Tạp chí Dịch tễ học lâm sàng , 57 (12) , 1262 Vang1270.
11. Tibshirani, R (1996). Hồi quy co ngót và lựa chọn thông qua lasso . Tạp chí của Hiệp hội Thống kê Hoàng gia B , 58 (1) , 267 Từ288.
12. Efron, B, Hastie, T, Johnstone, I và Tibshirani, R (2004). Hồi quy góc nhỏ nhất . Biên niên sử Thống kê , 32 (2) , 407-499.
13. Flom, PL và Cassell, DL (2007). Dừng theo từng bước: Tại sao các phương pháp lựa chọn từng bước và tương tự là xấu, và những gì bạn nên sử dụng . Thủ tục tố tụng NESUG 2007 .
14. Shtatland, ES, Cain, E. và Barton, MB (2001). Các nguy cơ của hồi quy logistic từng bước và làm thế nào để thoát chúng bằng các tiêu chí thông tin và Hệ thống phân phối đầu ra . Thủ tục tố tụng SUGI 26 (trang 222 Từ226).

Ở một mức độ tuyệt vời, bạn có thể làm bất cứ điều gì bạn muốn miễn là bạn giữ đủ dữ liệu một cách ngẫu nhiên để kiểm tra bất kỳ mô hình nào bạn đưa ra dựa trên dữ liệu được giữ lại. Chia 50% có thể là một ý tưởng tốt. Vâng, bạn mất một số khả năng để phát hiện các mối quan hệ, nhưng những gì bạn đạt được là rất lớn; cụ thể là khả năng tái tạo công việc của bạn trước khi nó được xuất bản. Cho dù các kỹ thuật thống kê mà bạn mang theo có tinh vi đến mức nào, bạn sẽ bị sốc khi biết có bao nhiêu dự đoán "đáng kể" hoàn toàn vô dụng khi áp dụng vào dữ liệu xác nhận.

Cũng lưu ý rằng "có liên quan" để dự đoán có nghĩa nhiều hơn giá trị p thấp. Rốt cuộc, điều đó chỉ có nghĩa là có khả năng mối quan hệ được tìm thấy trong bộ dữ liệu cụ thể này không phải là do tình cờ. Đối với dự đoán, điều thực sự quan trọng hơn là tìm ra các biến có ảnh hưởng đáng kể đến dự báo (mà không phù hợp với mô hình); nghĩa là, để tìm các biến có khả năng là "thực" và, khi được thay đổi trong phạm vi giá trị hợp lý (không chỉ các giá trị có thể xảy ra trong mẫu của bạn!), khiến cho dự đoán thay đổi đáng kể. Khi bạn có dữ liệu chờ để xác nhận một mô hình, bạn có thể thoải mái hơn khi giữ lại các biến "đáng kể" có thể không có giá trị p thấp.

Vì những lý do này (và dựa trên câu trả lời tốt của chl), mặc dù tôi đã tìm thấy các mô hình từng bước, so sánh AIC và sửa chữa Bonferroni khá hữu ích (đặc biệt là với hàng trăm hoặc hàng ngàn dự đoán có thể có trong trò chơi), đây không phải là yếu tố quyết định duy nhất của biến nào nhập mô hình của bạn. Đừng để mất hướng dẫn mà lý thuyết có được, hoặc: các biến có lý do mạnh về lý thuyết phải được giữ trong một mô hình thường nên được giữ nguyên, ngay cả khi chúng không đáng kể, miễn là chúng không tạo ra các phương trình không điều hòa ( ví dụ: cộng tuyến) .

Lưu ý : Sau khi bạn đã giải quyết trên một mô hình và xác nhận tính hữu ích của nó với dữ liệu chờ, việc kết hợp lại dữ liệu được giữ lại với dữ liệu giữ lại để ước tính cuối cùng là tốt. Do đó, không có gì bị mất về độ chính xác mà bạn có thể ước tính các hệ số mô hình.

Tôi nghĩ rằng đây là một câu hỏi rất hay; nó đi vào trọng tâm của "vấn đề" nhiều thử nghiệm gây tranh cãi về các lĩnh vực từ dịch tễ học đến kinh tế lượng. Rốt cuộc, làm thế nào chúng ta có thể biết liệu tầm quan trọng mà chúng ta tìm thấy có phải là giả hay không? Làm thế nào đúng là mô hình đa biến của chúng tôi?

Về phương pháp kỹ thuật để bù đắp khả năng xuất bản các biến nhiễu, tôi sẽ đồng ý với 'whuber' rằng sử dụng một phần mẫu của bạn làm dữ liệu huấn luyện và phần còn lại làm dữ liệu thử nghiệm là một ý tưởng tốt. Đây là một cách tiếp cận được thảo luận trong tài liệu kỹ thuật, vì vậy nếu bạn dành thời gian có lẽ bạn có thể tìm ra một số hướng dẫn tốt cho thời điểm và cách sử dụng nó.

Nhưng để tấn công trực tiếp hơn vào triết lý của nhiều thử nghiệm, tôi khuyên bạn nên đọc các bài viết tôi tham khảo dưới đây, một số trong đó hỗ trợ cho việc điều chỉnh cho nhiều thử nghiệm thường có hại (chi phí điện năng), không cần thiết và thậm chí có thể là sai lầm logic . Tôi cho một người không tự động chấp nhận tuyên bố rằng khả năng của chúng tôi để điều tra một người dự đoán tiềm năng bị giảm đáng kể bởi cuộc điều tra của người khác. Các gia đình khôn ngoan Loại 1 tỷ lệ lỗi có thể tăng lên khi chúng tôi bao gồm nhiều yếu tố dự báo trong một mô hình nhất định, nhưng chừng nào chúng ta không vượt qua giới hạn của kích thước mẫu của chúng tôi, khả năng loại 1 lỗi đối với từng cá nhândự đoán là không đổi; và kiểm soát lỗi gia đình không làm sáng tỏ biến số cụ thể nào là nhiễu và biến nào không. Tất nhiên, cũng có những phản biện đồng thời.

Vì vậy, miễn là bạn giới hạn danh sách các biến tiềm năng của mình với các biến hợp lý (nghĩa là sẽ có đường dẫn đến kết quả), thì nguy cơ giả mạo đã được xử lý khá tốt.

Tuy nhiên, tôi sẽ nói thêm rằng một mô hình dự đoán không liên quan đến "giá trị thật" của các yếu tố dự đoán của nó như là một mô hình nguyên nhân ; có thể có rất nhiều bối rối trong mô hình, nhưng miễn là chúng tôi giải thích một mức độ lớn của phương sai thì chúng tôi không quá quan tâm. Điều này làm cho công việc dễ dàng hơn, ít nhất là theo một nghĩa.

Chúc mừng

Brenden, Tư vấn thống kê sinh học

PS: bạn có thể muốn thực hiện hồi quy Poisson bằng 0 cho dữ liệu bạn mô tả, thay vì hai hồi quy riêng biệt.

1. Perneger, TV Có gì sai với các điều chỉnh Bonferroni . BMJ 1998; 316: 1236
2. Cook, RJ & Farewell, VT Xem xét đa dạng trong thiết kế và phân tích các thử nghiệm lâm sàng . Tạp chí của Hiệp hội Thống kê Hoàng gia , sê-ri A 1996; Tập 159, Số 1: 93-110
3. Rothman, KJ Không cần điều chỉnh cho nhiều so sánh . Dịch tễ học 1990; Tập 1, số 1: 43-46
4. Marshall, JR Data nạo vét và đáng chú ý . Dịch tễ học 1990; Tập 1, số 1: 5-7
5. Các điều chỉnh của Greenland, S. & Robins, JM Empirical-Bayes cho nhiều so sánh đôi khi rất hữu ích . Dịch tễ học 1991; Tập 2, số 4: 244-251

Có câu trả lời tốt ở đây. Hãy để tôi thêm một vài điểm nhỏ mà tôi không thấy được bảo hiểm ở nơi khác.

Đầu tiên, bản chất của các biến trả lời của bạn là gì? Cụ thể hơn, chúng có được hiểu là có liên quan với nhau không? Bạn chỉ nên thực hiện hai hồi quy riêng biệt nếu chúng được hiểu là độc lập (về mặt lý thuyết) / nếu phần dư từ hai mô hình là độc lập (theo kinh nghiệm). Nếu không, bạn nên xem xét một hồi quy đa biến. ('Đa biến' có nghĩa là> 1 biến trả lời; 'bội' có nghĩa là> 1 biến dự đoán.)

Một điều khác cần ghi nhớ là mô hình đi kèm với thử nghiệm toàn cầu , đây là thử nghiệm đồng thời của tất cả các yếu tố dự đoán. Có thể thử nghiệm toàn cầu là 'không đáng kể' trong khi một số dự đoán riêng lẻ dường như là 'đáng kể'. Điều đó sẽ cho bạn tạm dừng, nếu nó xảy ra. Mặt khác, nếu thử nghiệm toàn cầu cho thấy ít nhất một số dự đoán có liên quan, điều đó mang lại cho bạn sự bảo vệ khỏi vấn đề so sánh nhiều lần (nghĩa là, nó cho thấy không phải tất cả null đều đúng). $F$

Bạn có thể thực hiện hồi quy dường như không liên quan và sử dụng thử nghiệm F. Đặt dữ liệu của bạn ở dạng như thế này:

Out1 1 P11 P12 0  0   0
Out2 0 0   0   1  P21 P22

sao cho các yếu tố dự đoán cho kết quả đầu tiên của bạn có giá trị của chúng khi kết quả đó là biến y và 0 nếu không và ngược lại. Vì vậy, y của bạn là một danh sách của cả hai kết quả. P11 và P12 là hai yếu tố dự đoán cho kết quả đầu tiên và P21 và P22 là hai yếu tố dự đoán cho kết quả thứ hai. Nếu sex, là một yếu tố dự báo cho cả hai kết quả, thì việc sử dụng nó để dự đoán kết quả 1 phải ở một biến / cột riêng biệt khi dự đoán kết quả 2. Điều này cho phép hồi quy của bạn có độ dốc / tác động khác nhau đối với giới tính cho mỗi kết quả.

Trong khung này, bạn có thể sử dụng các quy trình thử nghiệm F tiêu chuẩn.