Có phải là 'công bằng' khi đặt hạt giống trong hồi quy rừng ngẫu nhiên để mang lại độ chính xác cao nhất?

Tôi có một hồi quy rừng ngẫu nhiên được xây dựng bằng skl và tôi lưu ý rằng tôi mang lại các kết quả khác nhau dựa trên việc đặt hạt giống ngẫu nhiên thành các giá trị khác nhau.

Nếu tôi sử dụng LOOCV để thiết lập hạt giống nào hoạt động tốt nhất, đây có phải là phương pháp hợp lệ không?

cross-validation random-forest

— người dùng2723494
nguồn

Mọi người làm điều đó trong các cuộc thi. Mặc dù đối với học viện đó sẽ là khó để biện minh.

— Firebug

Hãy nghĩ về một kịch bản trường hợp cực đoan: Chúng tôi chơi một trò chơi: chúng tôi tung hai con xúc xắc và những người trong số chúng tôi có được số tiền thắng cao hơn. Nhưng thực sự tôi được phép tung xúc xắc hai lần. Điều đó có công bằng không bạn? Hãy để tôi chỉ ra rằng thiết lập các hạt ngẫu nhiên là một phần không thể thiếu trong nghiên cứu tái sản xuất và phải luôn luôn được thực hiện. Điều đó không có nghĩa là chúng ta nên thử nhiều loại hạt khác nhau cho đến khi tìm được "hạt giống thuận lợi".

— usεr11852

@ usεr11852 Bạn nghĩ gì về nhận xét của tôi về câu trả lời hiện được chấp nhận? Tôi không chắc liệu điều này có khác gì so với khởi động lại ngẫu nhiên như với kmeans không. Không ai nghĩ rằng chúng ta nên bị buộc phải chấp nhận lần chạy đầu tiên mà chúng ta làm, đến mức khởi động lại ngẫu nhiên được tích hợp vào chức năng tiêu chuẩn trong R. Trừ khi bạn có thể coi mô hình đang chạy km 100 lần thay vì mô hình chỉ là cụm duy nhất tốt nhất

— jld

Không có vấn đề gì, nó có vẻ giống như định nghĩa của việc đánh giá quá mức tính ngẫu nhiên thực tế.

— Đánh dấu trắng

@Chaconne: Tôi hoàn toàn ủng hộ quan điểm của bạn về sự cần thiết phải xác nhận hợp lệ. Điều đó nói rằng tôi nghĩ có một sự khác biệt cốt lõi trong hai trường hợp sử dụng: Trong trường hợp k-mean (hay tối ưu hóa ngẫu nhiên nói chung), chúng tôi tìm kiếm một "bộ tối ưu" các tham số trong khi đối với CV, chúng tôi quan tâm đến "bộ đại diện ". Trong trường hợp sớm, chúng tôi cố gắng thể hiện "chúng ta có thể tốt như thế nào" trong khi trong trường hợp sau đó "chúng ta sẽ tốt như thế nào".

— usεr11852

Câu trả lời là không .

Mô hình của bạn cung cấp một kết quả khác nhau cho mỗi hạt giống bạn sử dụng. Đây là kết quả của tính chất không xác định của mô hình. Bằng cách chọn một hạt giống cụ thể tối đa hóa hiệu suất trên bộ xác thực có nghĩa là bạn đã chọn "sự sắp xếp" phù hợp nhất với bộ này. Tuy nhiên, điều này không đảm bảo rằng mô hình với hạt giống này sẽ hoạt động tốt hơn trên một bộ thử nghiệm riêng biệt . Điều này chỉ có nghĩa là bạn có quá nhiều mô hình trên bộ xác nhận hợp lệ .

Hiệu ứng này là lý do bạn thấy nhiều người có thứ hạng cao trong các cuộc thi (ví dụ: kaggle) trên bộ kiểm tra công khai, rơi vào bộ kiểm tra ẩn. Cách tiếp cận này không được xem xét bởi bất kỳ phương tiện chính xác.

— Djib2011
nguồn

Vâng, đây là lý do tại sao xác thực chéo là một kỹ thuật mạnh mẽ và cũng là lý do tại sao mọi người sử dụng cả xác thực và bộ kiểm tra (một để dựa trên lựa chọn mô hình và một để có được đánh giá khách quan).

— Djib2011

Tôi không tin chắc. Với tối ưu hóa nonconvex, việc khởi động lại ngẫu nhiên thường xuyên bởi vì các hạt khác nhau có thể dẫn đến ước tính tham số mô hình rất khác nhau và chỉ bằng cách xui xẻo, bạn có thể hội tụ xấu. Ví dụ với kmeans này là nổi tiếng. Với rừng ngẫu nhiên chỉ là tình cờ có thể mô hình của bạn kết thúc việc tạo ra quá nhiều phân chia phụ. Tôi không nghĩ rằng tiếng ồn phù hợp để nhận ra rằng các lần chạy khác nhau dẫn đến các ước tính tham số mô hình khác nhau và một số có thể thực sự khái quát tốt hơn các hoạt động khác. Tất cả điều này dựa trên việc đánh giá đúng hiệu suất mẫu, tất nhiên.

— jld

@ user2723494 Nó là hợp lệ cho siêu tham số với hy vọng tăng hiệu suất mà không phải trả chi phí tổng quát. Tuy nhiên, tinh chỉnh các tham số nhiều lần trên bộ xác nhận sẽ tạo ra hiệu ứng tương tự như tôi đã mô tả (quá mức trên bộ xác thực). Bởi vì hạt giống ngẫu nhiên là do ngẫu nhiên bản chất của nó là xa nhiều khả năng cải thiện hiệu suất do overfitting hơn do đã thực sự tạo ra một mô hình tốt hơn.

— Djib2011

@Chaconne Tôi không nói điều đó là không thể. Tuy nhiên, theo quy trình này, nhiều khả năng sẽ chọn một hạt giống mặc trang phục hơn một hạt giống thực sự tạo ra một mô hình tốt hơn ...

— Djib2011

Thành thật mà nói, tôi chưa bao giờ coi việc gieo các thuật toán ML (và tước bỏ chúng khỏi bản chất ngẫu nhiên của chúng) là một cách thực hành tốt. OP đã tạo ra một câu hỏi mới chỉ hỏi điều này. Tôi muốn đọc phản hồi của bạn!

— Djib2011