RandomForestClassifier so với ExtraTreesClassifier trong scikit learning

Bất cứ ai có thể giải thích sự khác biệt giữa RandomForestClassifier và ExtraTreesClassifier trong scikit học. Tôi đã dành một chút thời gian để đọc bài báo:

P. Geurts, D. Ernst., Và L. Wehenkel, “Cây cực kỳ ngẫu nhiên”, Machine Learning, 63 (1), 3-42, 2006

Có vẻ như đây là sự khác biệt đối với ET:

1) Khi chọn các biến tại một lần tách, các mẫu được lấy từ toàn bộ tập huấn luyện thay vì một mẫu bootstrap của tập huấn luyện.

2) Các phần tách được chọn hoàn toàn ngẫu nhiên từ phạm vi giá trị trong mẫu tại mỗi lần tách.

Kết quả từ hai việc này là nhiều "lá" hơn.

Có, cả hai kết luận đều đúng, mặc dù việc triển khai Random Forest trong scikit-learning giúp bạn có thể bật hoặc tắt lấy mẫu lại bootstrap.

Trong thực tế, RF thường nhỏ gọn hơn ET. ETs thường rẻ hơn để đào tạo theo quan điểm tính toán nhưng có thể phát triển lớn hơn nhiều. ETs đôi khi có thể khái quát hóa tốt hơn RF nhưng thật khó đoán khi đó là trường hợp mà không thử cả hai lần đầu tiên (và điều chỉnh n_estimators, max_featuresvà min_samples_splitbằng cách tìm kiếm lưới xác thực chéo).

Bộ phân loại ExtraTrees luôn kiểm tra các phần tách ngẫu nhiên trên một phần các tính năng (trái ngược với RandomForest, công cụ này kiểm tra tất cả các phần tách có thể có trên một phần các tính năng)

Sự khác biệt chính giữa rừng ngẫu nhiên và cây phụ (thường được gọi là rừng cực kỳ ngẫu nhiên) nằm ở chỗ, thay vì tính toán kết hợp phân chia / đặc điểm tối ưu cục bộ (đối với rừng ngẫu nhiên), đối với mỗi đặc điểm đang được xem xét, một giá trị ngẫu nhiên được chọn để tách (đối với những cây thừa). Đây là một nguồn tốt để biết thêm về sự khác biệt của chúng chi tiết hơn Rừng ngẫu nhiên và cây phụ.