Tại sao chỉ có ba phân vùng? (đào tạo, xác nhận, kiểm tra)

Khi bạn đang cố gắng điều chỉnh các mô hình cho một tập dữ liệu lớn, lời khuyên phổ biến là phân vùng dữ liệu thành ba phần: đào tạo, xác nhận và tập dữ liệu thử nghiệm.

Điều này là do các mô hình thường có ba "mức" tham số: "tham số" đầu tiên là lớp mô hình (ví dụ: SVM, mạng thần kinh, rừng ngẫu nhiên), bộ tham số thứ hai là tham số "chính quy" hoặc "siêu đường kính" ( ví dụ: hệ số hình phạt lasso, lựa chọn hạt nhân, cấu trúc mạng thần kinh) và bộ thứ ba là những gì thường được coi là "tham số" (ví dụ: hệ số cho các hiệp phương sai.)

Đưa ra một lớp mô hình và một sự lựa chọn của siêu đường kính, người ta chọn các tham số bằng cách chọn các tham số giúp giảm thiểu lỗi trên tập huấn luyện. Đưa ra một lớp mô hình, người ta điều chỉnh các siêu đường kính bằng cách giảm thiểu lỗi trên tập xác thực. Người ta chọn lớp mô hình theo hiệu suất trên tập kiểm tra.

Nhưng tại sao không có nhiều phân vùng hơn? Thông thường, người ta có thể chia các siêu đường kính thành hai nhóm và sử dụng "xác nhận 1" để khớp với thứ nhất và "xác nhận 2" để phù hợp với nhóm thứ hai. Hoặc người ta thậm chí có thể coi kích thước của dữ liệu huấn luyện / phân tách dữ liệu xác nhận là một siêu tham số cần điều chỉnh.

Đây đã là một thực tế phổ biến trong một số ứng dụng? Có bất kỳ công việc lý thuyết về phân vùng dữ liệu tối ưu?

Đầu tiên, tôi nghĩ bạn đang nhầm lẫn về những gì ba phân vùng làm. Bạn không thực hiện bất kỳ lựa chọn nào dựa trên dữ liệu thử nghiệm. Thuật toán của bạn điều chỉnh các tham số của họ dựa trên dữ liệu đào tạo. Sau đó, bạn chạy chúng trên dữ liệu xác nhận để so sánh các thuật toán của bạn (và các tham số được đào tạo của chúng) và quyết định người chiến thắng. Sau đó, bạn chạy người chiến thắng trên dữ liệu thử nghiệm của mình để đưa ra dự báo về việc nó sẽ hoạt động tốt như thế nào trong thế giới thực.

Bạn không xác nhận dữ liệu đào tạo vì điều đó sẽ phù hợp với mô hình của bạn. Bạn không dừng lại ở điểm số của người chiến thắng trong bước xác thực bởi vì bạn đã điều chỉnh mọi thứ để có được người chiến thắng trong bước xác thực và do đó bạn cần một bài kiểm tra độc lập (mà bạn chưa điều chỉnh cụ thể) để cung cấp cho bạn ý tưởng về việc bạn sẽ làm tốt như thế nào ngoài đấu trường hiện tại.

Thứ hai, tôi sẽ nghĩ rằng một yếu tố hạn chế ở đây là bạn có bao nhiêu dữ liệu. Hầu hết thời gian, chúng tôi thậm chí không muốn chia dữ liệu thành các phân vùng cố định, do đó CV.

Đây là câu hỏi thú vị và tôi thấy nó rất hữu ích với câu trả lời từ @Wayne.

Theo hiểu biết của tôi, việc chia tập dữ liệu thành các phân vùng khác nhau tùy thuộc vào mục đích của tác giả và yêu cầu của mô hình trong ứng dụng trong thế giới thực.

Thông thường chúng tôi có hai datsets: đào tạo và thử nghiệm. Một đào tạo được sử dụng để tìm các tham số của các mô hình, hoặc để phù hợp với các mô hình. Thử nghiệm được sử dụng để đánh giá hiệu suất của mô hình trong dữ liệu chưa xem (hoặc dữ liệu trong thế giới thực).

Nếu chúng ta chỉ thực hiện một bước trong đào tạo, rõ ràng là có một quá trình đào tạo và kiểm tra (hoặc xác nhận).

Tuy nhiên, làm theo cách này, nó có thể làm tăng vấn đề quá khớp khi mô hình được đào tạo với một bộ dữ liệu, một lần. Điều này có thể dẫn đến sự mất ổn định của mô hình trong vấn đề thế giới thực. Một cách để giải quyết vấn đề này là xác nhận chéo (CV) mô hình trong bộ dữ liệu đào tạo. Điều đó có nghĩa là, chúng tôi chia datset đào tạo thành các nếp gấp khác nhau, giữ một lần để thử nghiệm mô hình được đào tạo với các nếp gấp khác. Người chiến thắng bây giờ là người thua lỗ tối thiểu (dựa trên chức năng mục tiêu của chính chúng ta) trong toàn bộ quá trình CV. Bằng cách này, chúng tôi có thể đảm bảo rằng chúng tôi giảm thiểu cơ hội phù hợp với quá trình đào tạo và chọn đúng người chiến thắng. Bộ kiểm tra một lần nữa được sử dụng để đánh giá người chiến thắng trong dữ liệu chưa xem.