Rừng ngẫu nhiên là quá mức

Tôi đang cố gắng sử dụng Hồi quy rừng ngẫu nhiên trong scikits-learn. Vấn đề là tôi đang nhận được một lỗi kiểm tra thực sự cao:

train MSE, 4.64, test MSE: 252.25.

Đây là cách dữ liệu của tôi trông: (màu xanh: dữ liệu thực, màu xanh lá cây: dự đoán):

Tôi đang sử dụng 90% cho đào tạo và 10% cho thử nghiệm. Đây là mã tôi đang sử dụng sau khi thử một số kết hợp tham số:

rf = rf = RandomForestRegressor(n_estimators=10, max_features=2, max_depth=1000, min_samples_leaf=1, min_samples_split=2, n_jobs=-1) 
test_mse = mean_squared_error(y_test, rf.predict(X_test))
train_mse = mean_squared_error(y_train, rf.predict(X_train))

print("train MSE, %.4f, test MSE: %.4f" % (train_mse, test_mse))
plot(rf.predict(X))
plot(y)

Các chiến lược có thể để cải thiện sự phù hợp của tôi là gì? Có điều gì khác tôi có thể làm để trích xuất mô hình cơ bản không? Đối với tôi, dường như không thể tin được rằng sau rất nhiều lần lặp lại cùng một mô hình, mô hình hành xử rất tệ với dữ liệu mới. Tôi có hy vọng gì để phù hợp với dữ liệu này không?

Tôi nghĩ rằng bạn đang sử dụng công cụ sai; nếu toàn bộ X của bạn tương đương với chỉ mục, về cơ bản bạn đang có một số hàm được lấy mẫu $f:\mathbb{R}\rightarrow\mathbb{R}$ và cố gắng ngoại suy nó. Học máy là tất cả về lịch sử nội suy, vì vậy không có gì đáng ngạc nhiên khi nó ghi được thất bại ngoạn mục trong trường hợp này.

Những gì bạn cần là phân tích chuỗi thời gian (tức là trích xuất xu hướng, phân tích phổ và tự phát hoặc HMMing phần còn lại) hoặc vật lý (nghĩa là suy nghĩ nếu có ODE có thể tạo ra đầu ra như vậy và cố gắng điều chỉnh các tham số của nó thông qua số lượng được bảo toàn).

Vấn đề lớn nhất là cây hồi quy (và thuật toán dựa trên chúng giống như các khu rừng ngẫu nhiên) dự đoán các hàm hằng số từng phần, đưa ra một giá trị không đổi cho các đầu vào nằm dưới mỗi lá. Điều này có nghĩa là khi ngoại suy bên ngoài miền đào tạo của họ, họ chỉ dự đoán giá trị tương tự như đối với điểm gần nhất mà họ có dữ liệu đào tạo. @mbq đúng là có các công cụ chuyên dụng cho chuỗi thời gian học có lẽ sẽ tốt hơn các kỹ thuật học máy nói chung. Tuy nhiên, các khu rừng ngẫu nhiên đặc biệt xấu trong ví dụ này và có các kỹ thuật ML chung khác có thể sẽ hoạt động tốt hơn nhiều so với những gì bạn đang thấy. Các SVM với các hạt nhân phi tuyến là một lựa chọn xuất hiện trong tâm trí. Vì chức năng của bạn có cấu trúc định kỳ, điều này cũng gợi ý làm việc miền tần số,

Đây là một ví dụ trong sách giáo khoa cho dữ liệu quá khớp, mô hình làm rất tốt dữ liệu được đào tạo nhưng thu gọn trên bất kỳ dữ liệu thử nghiệm mới nào. Đây là một trong những chiến lược để giải quyết vấn đề này: Thực hiện xác thực chéo mười lần dữ liệu huấn luyện để tối ưu hóa các tham số.

Bước 1. Tạo chức năng thu nhỏ MSE bằng cách sử dụng tối ưu hóa NM. Một ví dụ có thể được nhìn thấy ở đây: http://glowingpython.blogspot.de/2011/05/curve-fitting-USE-fmin.html

Bước 2. Trong chức năng tối thiểu hóa này, mục tiêu là giảm MSE. Để thực hiện việc này, hãy tạo một phân chia dữ liệu gấp mười lần trong đó một mô hình mới được học trên 9 lần và được thử nghiệm ở lần thứ 10. Quá trình này được lặp lại mười lần, để có được MSE trên mỗi lần. MSE tổng hợp được trả về như là kết quả của mục tiêu.

Bước 3. Fmin trong python sẽ thực hiện các bước lặp cho bạn. Kiểm tra xem các tham số siêu nào là cần thiết để được tinh chỉnh (n_estimators, max_features, v.v.) và chuyển chúng đến fmin.

Kết quả sẽ là các tham số siêu tốt nhất sẽ làm giảm khả năng phù hợp quá mức.

Một số gợi ý:

1. Điều chỉnh các tham số của bạn bằng cách sử dụng phương pháp cửa sổ cuộn (mô hình của bạn phải được tối ưu hóa để dự đoán các giá trị tiếp theo trong chuỗi thời gian, không dự đoán các giá trị trong số các giá trị được cung cấp)
2. Hãy thử các mô hình khác (ngay cả những mô hình đơn giản hơn, với lựa chọn tính năng phù hợp và chiến lược kỹ thuật tính năng, có thể chứng minh phù hợp hơn với vấn đề của bạn)
3. Cố gắng tìm hiểu các biến đổi tối ưu của biến mục tiêu (cũng điều chỉnh điều này, có xu hướng tuyến tính / hàm mũ âm, bạn có thể ước tính nó)
4. Phân tích quang phổ có lẽ
5. Có vẻ như cực đại / cực tiểu cách đều nhau. Tìm hiểu nơi chúng được cung cấp các tính năng của bạn (không có đầu vào toán tử, tạo thuật toán khám phá nó để loại bỏ sai lệch) và thêm tính năng này làm tính năng. Ngoài ra kỹ sư một tính năng nearest maximum. Dunno, nó có thể hoạt động, hoặc có lẽ không, bạn chỉ có thể biết nếu bạn kiểm tra nó :)

$x^2$$x_2$

Sau khi đọc bài viết trên, tôi muốn đưa ra một câu trả lời khác.

Đối với các mô hình dựa trên cây, như rừng ngẫu nhiên, chúng không thể ngoại suy giá trị ngoài tập huấn luyện. Vì vậy, tôi không nghĩ rằng đó là một vấn đề quá phù hợp, nhưng là một chiến lược mô hình sai.

Vậy, chúng ta có thể làm gì để dự đoán chuỗi thời gian với mô hình cây?

Cách khả thi là kết hợp nó với hồi quy tuyến tính: đầu tiên, loại bỏ chuỗi thời gian (hoặc xu hướng mô hình hóa với hồi quy tuyến tính), sau đó mô hình hóa phần dư với cây (phần dư được giới hạn, để mô hình cây có thể xử lý nó).

Bên cạnh đó, có một mô hình cây kết hợp với hồi quy tuyến tính có thể ngoại suy, được gọi là lập thể, nó thực hiện hồi quy tuyến tính trên lá.

Nếu bạn chỉ đơn giản muốn dự đoán trong giới hạn của biểu đồ, thì chỉ cần ngẫu nhiên hóa các quan sát trước khi phân tách tập dữ liệu sẽ giải quyết vấn đề. Sau đó, nó trở thành một vấn đề nội suy từ phép ngoại suy như được hiển thị.