Xu hướng cộng gộp trong xgboost (và hiệu chỉnh của nó?)

Tôi đang tham gia một cuộc thi ngay bây giờ. Tôi biết công việc của mình là làm tốt điều đó, nhưng có lẽ ai đó muốn thảo luận về vấn đề của tôi và giải pháp của nó ở đây vì điều này có thể là chính mình cho những người khác trong lĩnh vực của họ.

Tôi đã đào tạo một mô hình xgboost (một mô hình dựa trên cây và một mô hình tuyến tính và một nhóm gồm cả hai). Như đã thảo luận ở đây , lỗi tuyệt đối trung bình (MAE) trên tập huấn luyện (trong đó tôi đã xác thực chéo) là nhỏ (khoảng 0,3) sau đó trong bài kiểm tra đã đặt, lỗi là khoảng 2.4. Sau đó, cuộc thi bắt đầu và lỗi là khoảng 8 (!) Và đáng ngạc nhiên là dự báo luôn cao hơn khoảng 8-9 so với giá trị thực !! Xem khu vực được khoanh tròn màu vàng trong hình:

Tôi phải nói rằng khoảng thời gian của dữ liệu đào tạo đã kết thúc vào 15/10 và cuộc thi bắt đầu ngay bây giờ (16 tháng 4 với thời gian thử nghiệm khoảng 2 tuần vào tháng 3).

Hôm nay tôi chỉ trừ các giá trị không đổi là 9 từ dự báo của tôi và lỗi đã giảm xuống còn 2 và tôi có số 3 trên bảng dẫn (trong một ngày này). ;) Đây là phần bên phải của đường màu vàng.

Vì vậy, những gì tôi muốn thảo luận:

• Xgboost phản ứng thế nào khi thêm một thuật ngữ chặn vào phương trình mô hình? Điều này có thể dẫn đến sai lệch nếu hệ thống thay đổi quá nhiều (như trong trường hợp của tôi từ ngày 15 tháng 10 đến ngày 16 tháng 4)?
• Một mô hình xgboost mà không bị chặn có thể mạnh hơn để dịch chuyển song song trong giá trị đích không?

Tôi sẽ tiếp tục trừ đi độ lệch 9 của mình và nếu có ai quan tâm tôi có thể chỉ cho bạn kết quả. Nó sẽ chỉ thú vị hơn để có được cái nhìn sâu sắc hơn ở đây.

Tôi sẽ tự trả lời và cho bạn biết những phát hiện của tôi trong trường hợp có ai quan tâm.

Đầu tiên là sự thiên vị: Tôi đã dành thời gian để thu thập tất cả các dữ liệu gần đây và định dạng nó bị sai lệch, v.v. Tôi nên làm điều này từ lâu trước đây. Hình ảnh như sau:

Bạn thấy dữ liệu từ cuối năm 2015 và sau đó là ngày 16 tháng 4. Mức giá hoàn toàn khác nhau. Một mô hình được đào tạo về dữ liệu năm 2015 không thể có được sự thay đổi này.

Thứ hai: Sự phù hợp của xgboost. Tôi thực sự thích thiết lập sau đây. lỗi đào tạo và kiểm tra đã gần rất nhiều và vẫn còn tốt:

xgb_grid_1 <- expand.grid(
    nrounds = c(12000),
    eta = c(0.01),
    max_depth = c(3),
    gamma = 1,
    colsample_bytree = c(0.7),
    min_child_weight = c(5) 
  )

  xgb_train_1 <- train(
    x = training,y = model.data$Price[inTrain],
    trControl = ctrl,
    tuneGrid = xgb_grid_1,
    method="xgbTree" 
   ,subsample = 0.8
    )

Do đó tôi sử dụng rất nhiều cây và tất cả chúng đều sâu tối đa 3 lần (như khuyến nghị ở đây ). Thực hiện phép tính này là nhanh chóng (kích thước cây tăng lên theo hệ số 2 với mỗi lần phân tách) và sự phù hợp dường như bị giảm đi.

Tóm tắt của tôi: sử dụng cây với một số lượng nhỏ lá nhưng rất nhiều trong số chúng và tìm kiếm dữ liệu gần đây. Đối với cuộc thi, điều này thật không may mắn cho tôi ...