Mô hình xếp chồng / tập hợp với dấu mũ


21

Tôi thường thấy mình đào tạo một số mô hình dự đoán khác nhau bằng cách sử dụng carettrong R. Tôi sẽ huấn luyện tất cả chúng trên cùng một nếp gấp xác thực chéo caret::: createFolds, sau đó chọn mô hình tốt nhất dựa trên lỗi xác thực chéo.

Tuy nhiên, dự đoán trung vị từ một số mô hình thường vượt trội so với mô hình đơn tốt nhất trên một bộ thử nghiệm độc lập. Tôi đang nghĩ đến việc viết một số chức năng để xếp chồng / tạo các mô hình caret đã được huấn luyện với cùng một nếp gấp xác thực chéo, ví dụ bằng cách lấy dự đoán trung bình từ mỗi mô hình trên mỗi nếp gấp hoặc bằng cách đào tạo một "mô hình meta".

Tất nhiên, điều này có thể yêu cầu một vòng xác nhận chéo bên ngoài. Có ai biết bất kỳ gói / mã nguồn mở hiện có nào cho các mô hình dấu mũ (và có thể xác thực chéo các quần thể đó) không?

Câu trả lời:


19

Có vẻ như Max Kuhn thực sự đã bắt đầu làm việc trên một gói cho các mô hình caretbleling , nhưng chưa có thời gian để hoàn thành nó. Điều này thật đúng với gì mà tôi đã tìm kiếm. Tôi hy vọng dự án sẽ hoàn thành một ngày!

chỉnh sửa: Tôi đã viết gói riêng của mình để làm điều này: caretEnsemble


1
Công việc tuyệt vời trên gói này!
mikeycgto

8

Những gì bạn đang tìm kiếm được gọi là "mô hình tập hợp". Một hướng dẫn giới thiệu đơn giản với mã R có thể được tìm thấy ở đây: http://viksalerskyms.blogspot.jp/2012/01/intro-to-ensemble-learning-in-r.html


3
Không phải là kén chọn, nhưng "tập hợp" là đúng trong tiêu đề của bài viết của tôi. Tôi đặc biệt tìm kiếm một gói R cho các mô hình tùy ý, dường như không tồn tại. Cảm ơn đã gửi mã, mặc dù. Có lẽ tôi sẽ viết gói của riêng tôi!
Zach

1

Tôi không chắc chắn những gì bạn đang tìm kiếm nhưng điều này có thể giúp: http://www.jstatsoft.org/v28/i05/apers

Đó là cách sử dụng nhiều mô hình trong caret. Phần bạn có thể quan tâm là phần 5 trên pg. 13.


Những gì tôi đang tìm kiếm là một gói sẽ lấy đầu vào là một danh sách các đối tượng dấu mũ, và sau đó sẽ đưa ra trung bình trung bình, trung bình hoặc trung bình có trọng số của các dự đoán của chúng. Chức năng nâng cao hơn có thể bao gồm tối ưu hóa các trọng số thông qua xác nhận chéo lồng nhau.
Zach
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.