Xử lý hiệu suất tốt về dữ liệu đào tạo và xác nhận, nhưng hiệu suất rất tệ đối với dữ liệu thử nghiệm

Tôi có một vấn đề hồi quy với 5-6k biến. Tôi chia dữ liệu của mình thành 3 bộ không chồng chéo: đào tạo, xác nhận và kiểm tra. Tôi huấn luyện chỉ sử dụng tập huấn luyện và tạo ra rất nhiều mô hình hồi quy tuyến tính khác nhau bằng cách chọn một bộ 200 biến khác nhau cho mỗi mô hình (tôi thử khoảng 100 nghìn tập con như vậy). Tôi chấm điểm một mô hình là . Sử dụng tiêu chí này, cuối cùng tôi chọn một mô hình. Hóa ra mô hình được chọn có R ^ 2 rất giống nhau về đào tạo và dữ liệu xác nhận. Tuy nhiên, khi tôi thử mô hình này trên dữ liệu thử nghiệm, nó có R ^ 2 thấp hơn nhiều . Vì vậy, có vẻ như tôi bằng cách nào đó quá mức cho cả dữ liệu đào tạo và xác nhận. Bất kỳ ý tưởng về làm thế nào tôi có thể có được một mô hình mạnh mẽ hơn? $\min(R^2_{\text{training data}}, R^2_{\text{validation data}})$$R^2$$R^2$

Tôi đã cố gắng tăng kích thước dữ liệu đào tạo, nhưng điều đó không giúp được gì. Tôi đang nghĩ về việc có thể thu nhỏ kích thước của mỗi tập hợp con.

Tôi đã thử sử dụng chính quy. Tuy nhiên, các mô hình tôi thu được bằng lasso hoặc lưới đàn hồi có R ^ 2 thấp hơn nhiều $R^2$trên tập huấn luyện cũng như tập xác thực, so với mô hình tôi có được bằng cách thực hiện phương pháp chọn tập hợp con. Do đó, tôi không xem xét các mô hình này, vì tôi cho rằng nếu Mô hình A hoạt động tốt hơn Mô hình B trên cả tập huấn luyện cũng như tập xác thực, thì Mô hình A rõ ràng tốt hơn Mô hình B. Tôi sẽ rất tò mò nếu bạn không đồng ý với điều này

Về một lưu ý liên quan, bạn có nghĩ $R^2$ là một tiêu chí tồi để chọn mô hình của tôi không?

Mặc dù điều này nghe có vẻ giống như quá mức, tôi nghĩ rằng thực sự nhiều khả năng là bạn đã gặp một số "lỗi" trong mã hoặc quy trình của bạn. Tôi sẽ bắt đầu bằng cách xác minh rằng bộ kiểm tra của bạn không khác biệt một cách có hệ thống so với bộ đào tạo / xác nhận hợp lệ. Giả sử dữ liệu của bạn được sắp xếp theo ngày (hoặc bất cứ điều gì). Nếu bạn đã sử dụng 50% đầu tiên cho đào tạo, 25% tiếp theo để xác thực và phần còn lại để kiểm tra, bạn có thể đã vô tình phân tầng dữ liệu của mình theo cách làm cho dữ liệu đào tạo đại diện cho dữ liệu xác thực, nhưng ít hơn cho dữ liệu thử nghiệm. Điều này khá dễ dàng để làm một cách tình cờ.

Bạn cũng nên đảm bảo rằng bạn không "nhúng hai lần" vào dữ liệu xác nhận bằng cách nào đó, điều này đôi khi xảy ra vô tình.

Cách khác, @Frank Harrell của CV đã báo cáo rằng một phân tách thử nghiệm / đào tạo duy nhất thường quá thay đổi để cung cấp thông tin hữu ích về hiệu suất của hệ thống (có thể anh ta có thể cân nhắc với một trích dẫn hoặc một số dữ liệu). Bạn có thể xem xét thực hiện một số thứ như xác thực chéo hoặc bootstrapping, điều này sẽ cho phép bạn đo cả giá trị trung bình và phương sai của thước đo chính xác của bạn.

Không giống như Mikera, tôi không nghĩ vấn đề là cơ chế tính điểm của bạn. Điều đó nói rằng, tôi không thể tưởng tượng được một tình huống trong đó , vì vậy tôi khuyên bạn nên ghi điểm chỉ bằng dữ liệu xác thực.$R^2_{training} < R^2_{validation}$

Tổng quát hơn, tôi nghĩ hoặc một cái gì đó giống như nó là một lựa chọn hợp lý để đo hiệu suất của một mô hình đầu ra liên tục, giả sử bạn biết về sự cẩn thận tiềm năng của nó. Tùy thuộc vào chính xác những gì bạn đang làm, bạn cũng có thể muốn xem xét lỗi tối đa hoặc trường hợp xấu nhất. Nếu bạn bằng cách nào đó phân biệt đầu ra của mình (hồi quy logistic, một số ngưỡng bên ngoài), thì nhìn vào độ chính xác / thu hồi / AUC có thể là một ý tưởng tốt hơn.$R^2$

Bạn đang quá mức vì bạn đang sử dụng min(training r-square,validation r-square)dữ liệu để tạo điểm số, đến lượt nó được sử dụng để thúc đẩy lựa chọn mô hình. Bởi vì r-vuông đào tạo của bạn có thể bằng hoặc thấp hơn (rốt cuộc bạn chỉ thực hiện hồi quy trên nó), điều này gần tương đương với việc lựa chọn mô hình trên bình phương r của dữ liệu đào tạo.

Điều này có tác dụng phù hợp quá chặt chẽ với dữ liệu đào tạo và bỏ qua dữ liệu xác nhận.

Nếu bạn đã sử dụng chỉ validation r-squaresau đó bạn sẽ nhận được một kết quả tốt hơn.