Chính xác thì lựa chọn mô hình từng bước là gì?

Mặc dù giá trị của lựa chọn mô hình từng bước đã được thảo luận trước đây, nhưng đối với tôi, việc lựa chọn mô hình từng bước "hoặc" hồi quy từng bước " là không rõ ràng . Tôi nghĩ rằng tôi hiểu nó, nhưng không chắc chắn nữa.

Tôi hiểu rằng hai thuật ngữ này đồng nghĩa (ít nhất là trong bối cảnh hồi quy) và chúng đề cập đến việc lựa chọn tập hợp các biến dự đoán tốt nhất trong mô hình "tối ưu" hoặc "tốt nhất" , được cung cấp dữ liệu. (Bạn có thể tìm thấy trang Wikipedia ở đây và một tổng quan có thể hữu ích khác ở đây .)

Dựa trên một số luồng trước đó (ví dụ ở đây: Thuật toán cho lựa chọn mô hình tự động ), có vẻ như lựa chọn mô hình từng bước được coi là một tội lỗi chính. Tuy nhiên, nó dường như được sử dụng mọi lúc, bao gồm cả những gì dường như được các nhà thống kê tôn trọng. Hay tôi đang trộn lẫn các thuật ngữ?

Câu hỏi chính của tôi là:

1. Bằng cách "lựa chọn mô hình từng bước" hoặc "hồi quy từng bước", chúng ta có nghĩa là:
   A ) thực hiện kiểm tra giả thuyết tuần tự như kiểm tra tỷ lệ khả năng hoặc xem xét các giá trị p? (Có một bài viết liên quan ở đây: Tại sao giá trị p bị sai lệch sau khi thực hiện lựa chọn từng bước? ) Đây có phải là ý nghĩa của nó và tại sao nó xấu?
   Hoặc
   B ) chúng ta cũng coi việc lựa chọn dựa trên AIC (hoặc tiêu chí thông tin tương tự) có tệ như nhau không? Từ câu trả lời tại Thuật toán cho lựa chọn mô hình tự động , có vẻ như điều này cũng bị chỉ trích. Mặt khác, Whmitham et al. (2006; pdf ) ¹ dường như gợi ý rằng lựa chọn biến dựa trên phương pháp lý thuyết thông tin (CNTT) khác với lựa chọn từng bước (và dường như là một cách tiếp cận hợp lệ) ...?

   Và đây là nguồn gốc của tất cả sự nhầm lẫn của tôi.

   Để theo dõi, nếu lựa chọn dựa trên AIC không thuộc "từng bước" và được coi là không phù hợp, thì đây là các câu hỏi bổ sung:

2. Nếu cách tiếp cận này là sai, tại sao nó được dạy trong sách giáo khoa, các khóa học đại học, vv? Có phải tất cả đều sai?

3. Các lựa chọn thay thế tốt để chọn biến nào nên duy trì trong mô hình là gì? Tôi đã bắt gặp các khuyến nghị để sử dụng bộ dữ liệu kiểm tra chéo và kiểm tra đào tạo và LASSO.

4. Tôi nghĩ rằng tất cả mọi người có thể đồng ý rằng việc ném bừa bãi tất cả các biến có thể vào một mô hình và sau đó thực hiện lựa chọn từng bước là có vấn đề. Tất nhiên, một số đánh giá lành mạnh nên hướng dẫn những gì đi vào ban đầu. Nhưng điều gì sẽ xảy ra nếu chúng ta đã bắt đầu với một số lượng hạn chế các biến dự đoán có thể dựa trên một số kiến ​​thức (nói về sinh học) và tất cả các dự đoán này có thể đang giải thích phản ứng của chúng ta? Cách tiếp cận lựa chọn mô hình này vẫn còn thiếu sót? Tôi cũng thừa nhận rằng việc lựa chọn mô hình "tốt nhất" có thể không phù hợp nếu các giá trị AIC giữa các mô hình khác nhau rất giống nhau (và suy luận đa mô hình có thể được áp dụng trong các trường hợp như vậy). Nhưng vấn đề cơ bản của việc sử dụng lựa chọn từng bước dựa trên AIC có còn là vấn đề không?

   Nếu chúng ta đang tìm kiếm xem các biến nào dường như giải thích phản hồi và theo cách nào, tại sao cách tiếp cận này sai, vì chúng ta biết "tất cả các mô hình đều sai, nhưng một số là hữu ích"?

_{1. Whitsham, MJ, Stephens, PA, Bradbury, RB, & Freckleton, RP (2006). Tại sao chúng ta vẫn sử dụng mô hình hóa từng bước trong sinh thái và hành vi? Tạp chí sinh thái động vật, 75, trang 1182 Từ1189.}

1) Lý do bạn bối rối là thuật ngữ "từng bước" được sử dụng không nhất quán. Đôi khi nó có nghĩa là các thủ tục khá cụ thể trong đó$p$-giá trị của các hệ số hồi quy, được tính theo cách thông thường, được sử dụng để xác định các biến số nào được thêm vào hoặc xóa khỏi mô hình và quá trình này được lặp lại nhiều lần. Nó có thể đề cập đến (a) một biến thể cụ thể của quy trình này trong đó các biến có thể được thêm hoặc xóa ở bất kỳ bước nào (tôi nghĩ đây là cái mà SPSS gọi là "từng bước") hoặc nó có thể đề cập đến (b) biến thể này cùng với biến khác các biến thể như chỉ thêm biến hoặc chỉ loại bỏ biến. Nói rộng hơn, "từng bước" có thể được sử dụng để chỉ (c) bất kỳ quy trình nào trong đó các tính năng được thêm vào hoặc xóa khỏi mô hình theo một số giá trị được tính toán mỗi khi một tính năng (hoặc bộ tính năng) được thêm hoặc xóa.

Những chiến lược khác nhau này đều đã bị chỉ trích vì nhiều lý do. Tôi sẽ nói rằng hầu hết những lời chỉ trích là về (b), phần quan trọng của lời chỉ trích đó là giá trị được trang bị kém để lựa chọn tính năng (các bài kiểm tra quan trọng ở đây thực sự đang kiểm tra một cái gì đó hoàn toàn khác với "tôi nên đưa biến này vào mô hình? "), và hầu hết các nhà thống kê nghiêm túc đề nghị chống lại nó trong mọi trường hợp. (c) còn nhiều tranh cãi.$p$

2) Bởi vì giáo dục thống kê là thực sự xấu. Chỉ đưa ra một ví dụ: theo như tôi có thể nói từ giáo dục của chính mình, rõ ràng đây được coi là một phần quan trọng của giáo dục thống kê cho các chuyên ngành tâm lý học để bảo học sinh sử dụng hiệu chỉnh của Bessel để có được ước tính không thiên vị về SD dân số. Đúng là sự điều chỉnh của Bessel làm cho ước tính của phương sai không thiên vị, nhưng thật dễ dàng để chứng minh rằng ước tính của SD vẫn còn sai lệch. Tốt hơn nữa, sự điều chỉnh của Bessel có thể làm tăng MSE của những ước tính này.

3) Lựa chọn biến thực tế là một lĩnh vực cho chính nó. Xác thực chéo và phân tách kiểm tra đào tạo là cách để đánh giá một mô hình, có thể sau khi lựa chọn tính năng; họ không tự cung cấp các đề xuất cho các tính năng sẽ sử dụng. Lasso thường là một lựa chọn tốt. Vậy là tập con tốt nhất.

4) Trong suy nghĩ của tôi, vẫn không có ý nghĩa gì trong việc sử dụng (b), đặc biệt là khi bạn có thể làm điều gì đó khác trong (c), như sử dụng AIC. Tôi không phản đối việc lựa chọn từng bước dựa trên AIC, nhưng lưu ý rằng nó sẽ nhạy cảm với mẫu (đặc biệt, khi các mẫu phát triển lớn tùy ý, như Lasso, luôn chọn mô hình phức tạp nhất), vì vậy đừng ' t trình bày lựa chọn mô hình chính nó như thể đó là một kết luận khái quát.

Nếu chúng ta đang tìm kiếm xem biến nào có vẻ giải thích phản ứng và theo cách nào

Cuối cùng, nếu bạn muốn xem xét ảnh hưởng của tất cả các biến, bạn cần bao gồm tất cả các biến và nếu mẫu của bạn quá nhỏ cho điều đó, bạn cần một mẫu lớn hơn. Hãy nhớ rằng, những giả thuyết không bao giờ đúng trong cuộc sống thực. Sẽ không có một loạt các biến có liên quan đến kết quả và một loạt các biến khác không có . Mỗi biến số sẽ được liên kết với kết quả. Các câu hỏi là ở mức độ nào, theo hướng nào, trong tương tác nào với các biến khác, v.v.

Về bước so với AIC

Stepwise là một thuật ngữ mô tả cách xây dựng một chuỗi các mô hình và có thể là cách một mô hình được chọn trong chuỗi.

• Trong xây dựng mô hình từng bước , các biến được thêm hoặc xóa từng cái một hoặc theo nhóm theo một số quy tắc để xác định biến nào là / sẽ được thêm / xóa. Điều này phù hợp với quan điểm của Kodiologist (c).
• Trong lựa chọn mô hình từng bước , người ta so sánh các mô hình lân cận theo trình tự và sẽ dừng lại khi mô hình đang xem xét xuất hiện vượt trội so với cả hai nước láng giềng (mô hình trước và mô hình kế tiếp). Điều này có thể được thực hiện bằng cách xem xét các thuộc tính khác nhau của các mô hình, ví dụ giá trị AIC, giá trị p, v.v.

Trong khi đó,

AIC là thước đo chất lượng tương đối của các mô hình thống kê cho một tập hợp dữ liệu nhất định. ( Wikipedia )

AIC có thể được áp dụng để chọn một mô hình từ nhóm ứng cử viên. Nó có thể được sử dụng như một tiêu chí lựa chọn trong lựa chọn từng bước, nhưng không chỉ.

Vì vậy, từng bước và AIC là hai khía cạnh khác nhau của lựa chọn mô hình có thể được sử dụng cùng nhau hoặc riêng rẽ, và tùy thuộc vào điều đó và trên các cân nhắc khác có thể hoặc không thể phù hợp.