Liệu việc thực hiện xác nhận chéo có ảnh hưởng đến kết quả của nó?

Như bạn đã biết, có hai loại xác thực chéo phổ biến là K-Fold và lấy mẫu ngẫu nhiên (như được mô tả trong Wikipedia ). Tuy nhiên, tôi biết rằng một số nhà nghiên cứu đang tạo và xuất bản các bài báo trong đó một cái gì đó được mô tả là CV gấp K thực sự là một mẫu phụ ngẫu nhiên, vì vậy trong thực tế, bạn không bao giờ biết những gì thực sự trong bài báo bạn đang đọc.
Tất nhiên thường là sự khác biệt là không đáng chú ý, và câu hỏi của tôi cũng vậy - bạn có thể nghĩ về một ví dụ khi kết quả của một loại khác biệt đáng kể so với loại khác không?

machine-learning cross-validation

Bạn chắc chắn có thể nhận được kết quả khác nhau đơn giản chỉ vì bạn đào tạo trên các ví dụ khác nhau. Tôi rất nghi ngờ rằng có một thuật toán hoặc miền vấn đề trong đó kết quả của cả hai sẽ khác nhau theo một cách nào đó có thể dự đoán được.

— bmargulies
nguồn

Tôi có nghĩa là kết quả khác nhau đáng kể. Tôi cũng nghĩ rằng không có, ít nhất là ví dụ thực tế. Tuy nhiên, tôi nghĩ rằng tôi sẽ chờ thêm một thời gian nữa.

Tất nhiên thường là sự khác biệt là không đáng chú ý, và câu hỏi của tôi cũng vậy - bạn có thể nghĩ về một ví dụ khi kết quả của một loại khác biệt đáng kể so với loại khác không?

Tôi không chắc chắn ở tất cả sự khác biệt là không đáng chú ý, và chỉ trong ví dụ ad hoc nó sẽ được chú ý. Cả hai phương thức xác thực chéo và bootstrapping (lấy mẫu phụ) đều phụ thuộc rất nhiều vào các tham số thiết kế của chúng và sự hiểu biết này vẫn chưa hoàn tất. Nói chung, các kết quả trong xác thực chéo k-phụ thuộc rất nhiều vào số lần gấp, do đó bạn có thể mong đợi các kết quả luôn khác với những gì bạn sẽ quan sát trong lấy mẫu phụ.

Case in point: giả sử rằng bạn có một mô hình tuyến tính thực sự với số lượng tham số cố định. Nếu bạn sử dụng xác thực chéo k-gấp (với k đã cho, cố định) và để số lượng quan sát ở mức vô hạn, xác thực chéo k sẽ không nhất quán cho lựa chọn mô hình, nghĩa là nó sẽ xác định một mô hình không chính xác với xác suất lớn hơn 0. Kết quả đáng ngạc nhiên này là do Jun Shao, "Lựa chọn mô hình tuyến tính bằng cách xác nhận chéo", Tạp chí của Hiệp hội thống kê Mỹ , 88 , 486-494 (1993), nhưng có thể tìm thấy nhiều bài báo hơn trong tĩnh mạch này.

Nói chung, các bài báo thống kê đáng kính chỉ định giao thức xác thực chéo, chính xác vì kết quả không phải là bất biến. Trong trường hợp họ chọn một số lượng lớn các nếp gấp cho các bộ dữ liệu lớn, họ nhận xét và cố gắng sửa cho các sai lệch trong lựa chọn mô hình.

— vui vẻ
nguồn

Không, không, không, đó là về học máy chứ không phải lựa chọn mô hình.

Sự khác biệt thú vị. Tôi nghĩ rằng lựa chọn mô hình là trung tâm của học máy, trong hầu hết tất cả các ý nghĩa của thuật ngữ này.

— vui vẻ

Tất cả những thứ đó hoạt động cho các mô hình tầm thường (chủ yếu là tuyến tính) khi bạn có ít tham số và bạn chỉ muốn khớp chúng với dữ liệu để nói điều gì đó về nó, như bạn có y và x và bạn muốn kiểm tra xem y = x ^ 2 hay y = x. Ở đây tôi nói về việc ước tính lỗi của các mô hình như SVM hoặc RF có thể có hàng ngàn tham số và vẫn không bị quá mức do các heuristic phức tạp.

Những kết quả này là hợp lệ cho hồi quy của các mô hình tuyến tính nói chung với số lượng biến độc lập tùy ý. Các biến có thể là người học tùy ý. Giả định quan trọng là khi số lượng quan sát tăng lên vô hạn, số lượng người học mô tả mô hình thực sự vẫn là hữu hạn. Tất cả điều này hoạt động cho hồi quy, vì vậy đối với một nhiệm vụ phân loại như của bạn, tôi không chắc nó có ích gì không.

— vui vẻ

Nó không; GLM không phải là máy học. Các phương pháp học máy thực sự đủ khôn ngoan để giữ mức độ phức tạp của chúng không phụ thuộc vào số lượng đối tượng ngày càng tăng (nếu điều đó là đủ); ngay cả đối với các mô hình tuyến tính, toàn bộ lý thuyết này hoạt động khá tệ vì khả năng hội tụ kém.