Làm thế nào một người chính thức chứng minh rằng lỗi OOB trong rừng ngẫu nhiên là không thiên vị?

Tôi đã đọc tuyên bố này nhiều lần nhưng chưa bao giờ bắt gặp một bằng chứng. Tôi muốn thử tự sản xuất một cái nhưng tôi thậm chí không chắc chắn về việc sử dụng ký hiệu nào. Bất cứ ai có thể giúp tôi với điều này?

Tôi không biết đây có phải là câu trả lời cuối cùng không, nhưng những điều đó không thể phù hợp với một nhận xét.

Tuyên bố rằng các lỗi OOB không thiên vị thường được sử dụng, nhưng tôi chưa bao giờ thấy một cuộc biểu tình nào. Sau nhiều lần tìm kiếm, cuối cùng tôi đã đưa ra sau khi đọc kỹ trang nổi tiếng của Breiman cho Phần RF : Ước tính lỗi ngoài túi (oob) . Trong trường hợp bạn không nhận thấy (như tôi đã bỏ lỡ một thời gian), đề xuất cuối cùng là vấn đề quan trọng: Điều này đã được chứng minh là không thiên vị trong nhiều thử nghiệm . Vì vậy, không có dấu hiệu của phái sinh chính thức.

Hơn thế nữa, dường như đã được chứng minh rằng trong trường hợp khi bạn có nhiều biến hơn các trường hợp thì công cụ ước tính này bị sai lệch. Xem ở đây .

Đối với lỗi trong túi có một dẫn xuất chính thức. Lỗi trong túi là lỗi bootstrap và có rất nhiều tài liệu bắt đầu với "Giới thiệu về Bootsrap, của Efron và Tibshirani". Tuy nhiên, cuộc biểu tình sạch nhất tôi thấy là ở đây .

Nếu bạn muốn bắt đầu tìm một bằng chứng, tôi nghĩ rằng một điểm khởi đầu tốt là so sánh ước tính này với xác nhận chéo N-Fold. Trong ESTL được tuyên bố rằng có một danh tính trong giới hạn, vì số lượng mẫu đi đến vô cùng.

Tại sao bạn mong đợi lỗi oob không thiên vị?

• Có (ít nhất) 1 trường hợp huấn luyện ít có sẵn cho các cây được sử dụng trong rừng thay thế so với rừng "gốc". Tôi hy vọng điều này sẽ dẫn đến một khuynh hướng bi quan nhỏ gần như tương đương với xác thực chéo một lần.

• $\frac{1}{e} \approx \frac{1}{3}$

Cả hai suy nghĩ đều liên quan chặt chẽ đến đường cong học tập của phân loại và ứng dụng / dữ liệu được đề cập: thứ nhất đến hiệu suất trung bình là chức năng của cỡ mẫu đào tạo và thứ hai là phương sai xung quanh đường cong trung bình này.

$\frac{1}{e} \approx \frac{1}{3}$$n - 1$

Cũng lưu ý rằng Breiman sử dụng "không thiên vị" cho việc khởi động giống như cách anh ta sử dụng nó để xác nhận chéo, trong đó chúng ta cũng có xu hướng bi quan (nhỏ). Đến từ một lĩnh vực thử nghiệm, tôi đồng ý rằng cả hai thực tế không thiên vị vì sự thiên vị thường là vấn đề ít hơn nhiều so với phương sai (có lẽ bạn không sử dụng rừng ngẫu nhiên nếu bạn có nhiều trường hợp mắc bệnh) .