Câu hỏi thực tế về điều chỉnh Rừng ngẫu nhiên

Câu hỏi của tôi là về Rừng ngẫu nhiên. Khái niệm về phân loại đẹp này đối với tôi rõ ràng, nhưng vẫn còn rất nhiều câu hỏi sử dụng thực tế. Thật không may, tôi đã không tìm thấy bất kỳ hướng dẫn thực tế nào về RF (Tôi đã tìm kiếm một cái gì đó như "Hướng dẫn thực hành về đào tạo máy Boltzman bị hạn chế" của Geoffrey Hinton, nhưng cho Rừng ngẫu nhiên!

Làm thế nào một người có thể điều chỉnh RF trong thực tế?

Có đúng là số lượng cây lớn hơn luôn luôn tốt hơn? Có giới hạn hợp lý (ngoại trừ khả năng tính toán của khóa học) về việc tăng số lượng cây và cách ước tính nó cho tập dữ liệu đã cho không?

Độ sâu của cây thì sao? Làm thế nào để chọn một cái hợp lý? Có ý nghĩa trong việc thử nghiệm các cây có chiều dài khác nhau trong một khu rừng và hướng dẫn cho điều đó là gì?

Có bất kỳ thông số nào khác đáng xem khi đào tạo RF không? Algos để xây dựng cây riêng lẻ có thể là?

Khi họ nói RF có khả năng chống lại quá mức, điều đó đúng như thế nào?

Tôi sẽ đánh giá cao bất kỳ câu trả lời và / hoặc liên kết đến các hướng dẫn hoặc bài viết mà tôi có thể đã bỏ lỡ trong khi tìm kiếm.

Tôi không phải là một nhân vật có thẩm quyền, vì vậy hãy xem xét các ghi chú của học viên ngắn gọn này:

Nhiều cây luôn tốt hơn với lợi nhuận giảm dần. Cây sâu hơn hầu như luôn luôn là đối tượng tốt hơn để yêu cầu nhiều cây hơn cho hiệu suất tương tự.

Hai điểm trên trực tiếp là kết quả của sự đánh đổi sai lệch. Cây sâu hơn làm giảm sự thiên vị; nhiều cây làm giảm phương sai.

Thông số siêu quan trọng nhất là có bao nhiêu tính năng để kiểm tra cho mỗi lần phân tách. Càng có nhiều tính năng vô dụng, bạn càng nên thử nhiều tính năng hơn. Điều này cần điều chỉnh. Bạn có thể điều chỉnh nó thông qua các ước tính OOB nếu bạn chỉ muốn biết hiệu suất của mình trên dữ liệu đào tạo của mình và không có kết nghĩa (~ các biện pháp lặp đi lặp lại). Mặc dù đây là tham số quan trọng nhất, nhưng tối ưu của nó vẫn thường khá gần với mặc định đề xuất ban đầu (sqrt (p) hoặc (p / 3) để phân loại / hồi quy).

Nghiên cứu gần đây cho thấy bạn thậm chí không cần thực hiện tìm kiếm phân tách toàn diện bên trong một tính năng để có hiệu suất tốt. Chỉ cần thử một vài điểm cắt cho mỗi tính năng được chọn và di chuyển trên. Điều này làm cho đào tạo thậm chí nhanh hơn. (~ Rừng / Cây cực kỳ ngẫu nhiên).

• Số lượng cây : càng lớn càng tốt: có. Một cách để đánh giá và biết khi nào nên dừng là theo dõi tỷ lệ lỗi của bạn trong khi xây dựng khu rừng của bạn (hoặc bất kỳ tiêu chí đánh giá nào khác bạn có thể sử dụng) và phát hiện khi nào nó hội tụ. Bạn có thể làm điều đó trên chính bộ học tập hoặc, nếu có, trên một bộ kiểm tra độc lập. Ngoài ra, cần lưu ý rằng số lượng nút kiểm tra trong cây của bạn bị giới hạn trên bởi số lượng đối tượng, vì vậy nếu bạn có nhiều biến và không có nhiều đối tượng đào tạo, rừng lớn hơn sẽ được khuyến nghị để tăng cơ hội đánh giá tất cả các mô tả ít nhất một lần trong khu rừng của bạn.

• Độ sâu của cây : có một số cách để kiểm soát độ sâu của cây của bạn (giới hạn độ sâu tối đa, giới hạn số nút, giới hạn số lượng đối tượng cần tách, ngừng phân tách nếu việc phân tách không đủ cải thiện sự phù hợp, ... ). Hầu hết thời gian, nên cắt tỉa (giới hạn độ sâu) của cây nếu bạn đang xử lý dữ liệu ồn ào. Cuối cùng, bạn có thể sử dụng các cây được phát triển đầy đủ của mình để tính toán hiệu suất của các cây ngắn hơn vì đây là một "tập hợp con" của các cây được phát triển đầy đủ.

• Có bao nhiêu tính năng để kiểm tra tại mỗi nút : xác thực chéo trải nghiệm của bạn với một loạt các giá trị (bao gồm cả các giá trị được đề xuất), bạn nên có được đường cong hiệu suất và có thể xác định tối đa chỉ ra đâu là giá trị tốt nhất cho tham số này + Shea Parkes trả lời.

• Shea Parkes đã đề cập đến Extra-Plants, đây là bài báo gốc mô tả chi tiết về phương pháp: http://orbi.ulg.ac.be/bitstream/2268/9357/1/geurts-mlj-advance.pdf