MCMC lấy mẫu không gian cây quyết định so với rừng ngẫu nhiên

Một khu rừng ngẫu nhiên là một tập hợp các cây quyết định được hình thành bằng cách chỉ chọn ngẫu nhiên một số tính năng nhất định để xây dựng mỗi cây với (và đôi khi đóng gói dữ liệu đào tạo). Rõ ràng họ học và khái quát tốt. Có ai đã thực hiện lấy mẫu MCMC của không gian cây quyết định hoặc so sánh chúng với các khu rừng ngẫu nhiên chưa? Tôi biết có thể tốn kém hơn khi chạy MCMC và lưu tất cả các cây được lấy mẫu, nhưng tôi quan tâm đến các tính năng lý thuyết của mô hình này, chứ không phải chi phí tính toán. Ý tôi là một cái gì đó như thế này:

1. Xây dựng một cây quyết định ngẫu nhiên (Nó có thể sẽ thực hiện khủng khiếp)
2. Khả năng tính toán của cây với một cái gì đó giống như , hoặc có lẽ thêm một P p r i o r ( T r e e ) kỳ hạn.$P(Tree|Data) \propto P(Data|Tree)$$P_{prior}(Tree)$
3. Chọn một bước ngẫu nhiên để thay đổi cây và chọn dựa trên khả năng .$P(Tree|Data)$
4. Mỗi N bước, lưu một bản sao của cây hiện tại
5. Quay trở lại 3 cho một số lần N * M lớn
6. Sử dụng bộ sưu tập cây M đã lưu để dự đoán

Điều này sẽ cung cấp một hiệu suất tương tự như Rừng ngẫu nhiên? Lưu ý rằng ở đây chúng tôi không vứt bỏ dữ liệu hay tính năng tốt ở bất kỳ bước nào không giống như các khu rừng ngẫu nhiên.

Điều này đã được thực hiện khoảng 13 năm trước bởi Chapman, George và McCulloch (1998, JASA) . Tất nhiên, có những tài liệu khổng lồ về cây hồi quy Bayes phát triển từ ý tưởng này.

Thật không may, Chipman et al. trong phương pháp GIỎI GIỜ của họ chỉ trích xuất cây có xác suất cao nhất. Họ không bao giờ cố gắng trung bình trên cây và so sánh hiệu suất với Rừng ngẫu nhiên và Cây ngoài.

Tôi vừa đọc bài báo BART từ Chipman. Nếu tôi hiểu chính xác, đó là một mẫu K trung bình của Bayes trên một bộ sưu tập của cây m. Nó là thú vị theo nhiều cách và dường như thực hiện tốt. Khi m = '1', đó là phép tính trung bình đơn giản của Bayes gồm K mẫu của 1 cây, đến từ phía sau. Tuy nhiên, không có nhiều thử nghiệm đã được thực hiện trên khía cạnh cụ thể đó. Và tôi vẫn sẽ thích thú khi biết Random Forest hay Extra-Plants so với mô hình Bayes thực sự như thế nào.