Chọn các biến để đưa vào mô hình hồi quy tuyến tính đa biến

Tôi hiện đang làm việc để xây dựng một mô hình bằng cách sử dụng hồi quy tuyến tính đa biến. Sau khi loay hoay với mô hình của mình, tôi không chắc chắn làm thế nào để xác định tốt nhất các biến cần giữ và loại bỏ.

Mô hình của tôi bắt đầu với 10 dự đoán cho DV. Khi sử dụng tất cả 10 dự đoán, bốn được coi là đáng kể. Nếu tôi chỉ loại bỏ một số dự đoán rõ ràng không chính xác, một số dự đoán ban đầu không quan trọng của tôi trở nên quan trọng. Điều này dẫn tôi đến câu hỏi của tôi: Làm thế nào để đi đến việc xác định dự đoán nào sẽ đưa vào mô hình của họ? Dường như với tôi, bạn nên chạy mô hình một lần với tất cả các dự đoán, loại bỏ những thứ không đáng kể và sau đó chạy lại. Nhưng nếu chỉ loại bỏ một số trong những dự đoán đó làm cho những người khác trở nên quan trọng, tôi sẽ tự hỏi liệu tôi có đang tiếp cận sai với tất cả những điều này không.

Tôi tin rằng đây chủ đề tương tự như câu hỏi của tôi, nhưng tôi không chắc chắn tôi giải thích các cuộc thảo luận một cách chính xác. Có lẽ đây là một chủ đề thiết kế thử nghiệm, nhưng có lẽ ai đó có một số kinh nghiệm họ có thể chia sẻ.

Dựa trên phản ứng của bạn với nhận xét của tôi:

Bạn đang tìm kiếm dự đoán. Vì vậy, bạn không nên thực sự dựa vào (trong) ý nghĩa của các hệ số. Bạn sẽ tốt hơn để

• Chọn một tiêu chí mô tả dự đoán của bạn cần tốt nhất (ví dụ: tỷ lệ phân loại sai, AUC của ROC, một số dạng trong số này có trọng số, ...)
• Đối với mỗi mô hình quan tâm , đánh giá tiêu chí này. Điều này có thể được thực hiện, ví dụ như cung cấp một bộ xác nhận (nếu bạn may mắn hoặc giàu có), thông qua việc xác định giá trị chéo (thường là gấp mười lần) hoặc bất kỳ tùy chọn nào khác mà tiêu chí quan tâm của bạn cho phép. Nếu có thể cũng tìm thấy một ước tính về SE của tiêu chí cho từng mô hình (ví dụ: bằng cách sử dụng các giá trị trên các nếp gấp khác nhau trong quá trình xác định giá trị chéo)
• Bây giờ bạn có thể chọn mô hình có giá trị tốt nhất của tiêu chí, mặc dù vậy, thông thường nên chọn mô hình phân tích nhất (biến ít nhất) nằm trong một SE có giá trị tốt nhất.

Wrt từng mô hình quan tâm : ở đây nằm khá bắt. Với 10 dự đoán tiềm năng, đó là một khối lượng xe tải của các mô hình tiềm năng. Nếu bạn đã có thời gian hoặc bộ xử lý cho việc này (hoặc nếu dữ liệu của bạn đủ nhỏ để các mô hình phù hợp và được đánh giá đủ nhanh): hãy có một quả bóng. Nếu không, bạn có thể giải quyết vấn đề này bằng các phỏng đoán có giáo dục, mô hình tiến hoặc lùi (nhưng sử dụng tiêu chí thay vì quan trọng) hoặc tốt hơn là: sử dụng một số thuật toán chọn một bộ mô hình hợp lý. Một thuật toán thực hiện điều này, là hồi quy bị phạt, đặc biệt là hồi quy Lasso. Nếu bạn đang sử dụng R, chỉ cần cắm gói glmnet và bạn đã sẵn sàng để sử dụng.

Không có câu trả lời đơn giản cho điều này. Khi bạn loại bỏ một số biến giải thích không đáng kể, các biến khác có tương quan với các biến có thể trở nên quan trọng. Không có gì sai với điều này, nhưng nó làm cho việc lựa chọn mô hình ít nhất là một phần nghệ thuật hơn là khoa học. Đây là lý do tại sao các thí nghiệm nhằm mục đích giữ các biến giải thích trực giao với nhau, để tránh vấn đề này.

Các nhà phân tích truyền thống đã từng bước cộng và trừ các biến cho mô hình một lần (tương tự như những gì bạn đã làm) và kiểm tra chúng riêng lẻ hoặc trong các nhóm nhỏ với các bài kiểm tra t hoặc F. Vấn đề với điều này là bạn có thể bỏ lỡ một số kết hợp các biến để trừ (hoặc thêm) trong đó hiệu ứng kết hợp của chúng (hoặc không có hiệu lực) bị ẩn bởi cộng tuyến.

Với khả năng tính toán hiện đại, có thể phù hợp với tất cả 2 ^ 10 = 1024 kết hợp các biến giải thích có thể và chọn mô hình tốt nhất theo một trong số các tiêu chí có thể, ví dụ AIC, BIC hoặc khả năng dự đoán (ví dụ: khả năng dự đoán các giá trị của một tập hợp con kiểm tra dữ liệu mà bạn đã tách khỏi tập hợp bạn sử dụng để phù hợp với mô hình của bạn). Tuy nhiên, nếu bạn đang thử nghiệm (ngầm hoặc rõ ràng) 1024 mô hình, bạn sẽ cần phải xem xét lại các giá trị p của mình từ phương pháp cổ điển - hãy thận trọng ...

Nếu bạn chỉ quan tâm đến hiệu suất dự đoán, thì có lẽ tốt hơn là sử dụng tất cả các tính năng và sử dụng hồi quy sườn để tránh quá phù hợp với mẫu đào tạo. Đây thực chất là lời khuyên được đưa ra trong phần phụ lục của chuyên khảo Millar về "lựa chọn tập hợp con trong hồi quy" , vì vậy nó đi kèm với một phả hệ hợp lý!

Lý do cho điều này là vì nếu bạn chọn một tập hợp con dựa trên ước tính hiệu suất dựa trên một mẫu dữ liệu cố định (ví dụ AIC, BIC, xác thực chéo, v.v.), tiêu chí lựa chọn sẽ có phương sai hữu hạn và do đó có thể quá phù hợp với tiêu chí lựa chọn chính nó. Nói cách khác, để bắt đầu khi bạn giảm thiểu tiêu chí lựa chọn, hiệu suất khái quát hóa sẽ được cải thiện, tuy nhiên sẽ đến lúc bạn càng giảm tiêu chí lựa chọn, việc khái quát hóa càng trở nên tồi tệ hơn. Nếu bạn không may mắn, bạn có thể dễ dàng kết thúc với mô hình hồi quy hoạt động kém hơn mô hình bạn đã bắt đầu (tức là một mô hình có tất cả các thuộc tính).

Điều này đặc biệt có thể xảy ra khi tập dữ liệu nhỏ (vì vậy tiêu chí lựa chọn có phương sai cao) và khi có nhiều lựa chọn mô hình có thể (ví dụ: chọn kết hợp các tính năng). Chính quy hóa dường như ít phù hợp hơn vì nó là một tham số vô hướng cần được điều chỉnh và điều này mang lại cái nhìn hạn chế hơn về độ phức tạp của mô hình, tức là mức độ tự do hiệu quả hơn để phù hợp với tiêu chí lựa chọn .

Sử dụng thư viện bước nhảy vọt. Khi bạn vẽ các biến, trục y hiển thị R ^ 2 được điều chỉnh. Bạn nhìn vào nơi các hộp có màu đen ở mức cao nhất R ^ 2. Điều này sẽ hiển thị các biến bạn nên sử dụng cho hồi quy tuyến tính bội.

Ví dụ về rượu vang dưới đây:

library(leaps)
regsubsets.out <-
  regsubsets(Price ~ Year + WinterRain + AGST + HarvestRain + Age + FrancePop,
         data = wine,
         nbest = 1,       # 1 best model for each number of predictors
         nvmax = NULL,    # NULL for no limit on number of variables
         force.in = NULL, force.out = NULL,
         method = "exhaustive")
regsubsets.out

#----When you plot wherever R^2 is the highest with black boxes,
#so in our case AGST + HarvestRain + WinterRain + Age and the dependent var.is Price----#
summary.out <- summary(regsubsets.out)
as.data.frame(summary.out$outmat)
plot(regsubsets.out, scale = "adjr2", main = "Adjusted R^2")

Bạn cũng có thể sử dụng chức năng bước trong tiêu chí thông tin Akaike. Ví dụ dưới đây. https://en.wikipedia.org/wiki/Akaike_inif_criterion

StepModel = step(ClimateChangeModel)

Tại sao không thực hiện phân tích tương quan Đầu tiên và sau đó loại bỏ hồi quy chỉ những người đã đăng ký với DV?

Cố vấn của tôi đưa ra một cách khác có thể để đi về điều này. Chạy tất cả các biến của bạn một lần và sau đó loại bỏ các biến không đáp ứng một số ngưỡng (chúng tôi đặt ngưỡng của chúng tôi là p <0,25). Tiếp tục lặp lại theo cách đó cho đến khi tất cả các biến nằm dưới giá trị 0,25 đó, sau đó báo cáo các giá trị đó là đáng kể.