Sự khác biệt giữa bộ kiểm tra và bộ xác nhận là gì?

Tôi thấy điều này khó hiểu khi tôi sử dụng hộp công cụ mạng thần kinh trong Matlab.
Nó chia tập dữ liệu thô thành ba phần:

1. tập huấn luyện
2. bộ xác nhận
3. Tập kiểm tra

Tôi nhận thấy trong nhiều thuật toán đào tạo hoặc học tập, dữ liệu thường được chia thành 2 phần, tập huấn luyện và tập kiểm tra.

Câu hỏi của tôi là:

1. sự khác biệt giữa bộ xác nhận và bộ kiểm tra là gì?
2. Là bộ xác nhận thực sự cụ thể cho mạng thần kinh? Hoặc nó là tùy chọn.
3. Để đi xa hơn, có sự khác biệt giữa xác nhận và thử nghiệm trong bối cảnh học máy không?

Thông thường để thực hiện việc học có giám sát, bạn cần hai loại tập dữ liệu:

1. Trong một tập dữ liệu ("tiêu chuẩn vàng" của bạn), bạn có dữ liệu đầu vào cùng với đầu ra chính xác / dự kiến, Tập dữ liệu này thường được chuẩn bị bởi con người hoặc bằng cách thu thập một số dữ liệu theo cách bán tự động. Nhưng điều quan trọng là bạn có đầu ra dự kiến ​​cho mỗi hàng dữ liệu ở đây, bởi vì bạn cần điều này cho việc học có giám sát.

2. Dữ liệu bạn sẽ áp dụng mô hình của bạn. Trong nhiều trường hợp, đây là dữ liệu mà bạn quan tâm đến đầu ra của mô hình của mình và do đó bạn chưa có bất kỳ đầu ra "mong đợi" nào ở đây.

Trong khi thực hiện học máy, bạn làm như sau:

1. Giai đoạn đào tạo: bạn trình bày dữ liệu của mình từ "tiêu chuẩn vàng" và đào tạo mô hình của mình, bằng cách ghép nối đầu vào với đầu ra dự kiến.
2. Giai đoạn xác nhận / kiểm tra: để ước tính mô hình của bạn đã được đào tạo tốt như thế nào (phụ thuộc vào kích thước dữ liệu của bạn, giá trị bạn muốn dự đoán, đầu vào, v.v.) và để ước tính các thuộc tính mô hình (lỗi trung bình cho các yếu tố dự đoán số, lỗi phân loại cho phân loại, thu hồi và độ chính xác cho các mô hình IR, v.v.)
3. Giai đoạn ứng dụng: bây giờ bạn áp dụng mô hình mới phát triển của mình vào dữ liệu trong thế giới thực và nhận được kết quả. Vì bạn thường không có bất kỳ giá trị tham chiếu nào trong loại dữ liệu này (nếu không, tại sao bạn lại cần mô hình của mình?), Bạn chỉ có thể suy đoán về chất lượng đầu ra mô hình của mình bằng kết quả của giai đoạn xác thực.

Giai đoạn xác nhận thường được chia thành hai phần :

1. Trong phần đầu tiên, bạn chỉ cần nhìn vào các mô hình của mình và chọn cách tiếp cận hiệu quả nhất bằng cách sử dụng dữ liệu xác nhận (= xác thực)
2. Sau đó, bạn ước tính độ chính xác của phương pháp đã chọn (= test).

Do đó, việc tách thành 50/25/25.

Trong trường hợp nếu bạn không cần chọn một mô hình phù hợp từ một số cách tiếp cận đối thủ, bạn chỉ có thể phân vùng lại tập hợp của mình mà về cơ bản bạn chỉ có tập huấn luyện và tập kiểm tra, mà không cần thực hiện xác nhận mô hình đã đào tạo của bạn. Cá nhân tôi phân vùng chúng 70/30 rồi.

Xem thêm câu hỏi này .

Tập huấn luyện: một tập hợp các ví dụ được sử dụng cho việc học: để phù hợp với các tham số của trình phân loại Trong trường hợp Đa lớp (MLP), chúng tôi sẽ sử dụng tập huấn luyện để tìm các trọng số tối ưu hóa theo quy tắc hỗ trợ ngược

Bộ xác thực: một tập hợp các ví dụ được sử dụng để điều chỉnh các tham số của trình phân loại Trong trường hợp MLP, chúng tôi sẽ sử dụng bộ xác thực để tìm số đơn vị ẩn tối ưu của các đơn vị ẩn hoặc xác định điểm dừng cho thuật toán lan truyền ngược

Bộ kiểm tra: một tập hợp các ví dụ chỉ được sử dụng để đánh giá hiệu suất của trình phân loại được đào tạo đầy đủ Trong trường hợp MLP, chúng tôi sẽ sử dụng thử nghiệm để ước tính tỷ lệ lỗi sau khi chúng tôi đã chọn mô hình cuối cùng (kích thước MLP và trọng lượng thực tế) Sau khi đánh giá mô hình cuối cùng trong bộ thử nghiệm, BẠN KHÔNG ĐƯỢC điều chỉnh mô hình nữa!

Tại sao các bộ kiểm tra và xác nhận riêng biệt? Ước tính tỷ lệ lỗi của mô hình cuối cùng trên dữ liệu xác thực sẽ bị sai lệch (nhỏ hơn tỷ lệ lỗi thực sự) do bộ xác thực được sử dụng để chọn mô hình cuối cùng Sau khi đánh giá mô hình cuối cùng trên tập kiểm tra, BẠN KHÔNG ĐƯỢC điều chỉnh mô hình bất kỳ thêm nữa!

nguồn: Giới thiệu về Phân tích mẫu, Đại học A & M của Ricardo Gutierrez-OsunaTexas, Đại học Texas A & M

Kinh nghiệm 5 năm của tôi về Khoa học Máy tính đã dạy tôi rằng không có gì tốt hơn sự đơn giản.

Khái niệm về Tập dữ liệu 'Đào tạo / Xác thực chéo / Kiểm tra' đơn giản như thế này. Khi bạn có một tập dữ liệu lớn, bạn nên chia thành 3 phần:

++ Tập huấn luyện (60% tập dữ liệu gốc): Điều này được sử dụng để xây dựng thuật toán dự đoán của chúng tôi. Thuật toán của chúng tôi cố gắng điều chỉnh chính nó theo các yêu cầu của tập dữ liệu huấn luyện. Trong giai đoạn này, chúng tôi thường tạo ra nhiều thuật toán để so sánh hiệu suất của chúng trong Giai đoạn xác thực chéo.

++ Bộ xác thực chéo (20% bộ dữ liệu gốc): Tập dữ liệu này được sử dụng để so sánh hiệu suất của các thuật toán dự đoán được tạo dựa trên tập huấn luyện. Chúng tôi chọn thuật toán có hiệu suất tốt nhất.

++ Bộ kiểm tra (20% bộ dữ liệu gốc): Bây giờ chúng tôi đã chọn thuật toán dự đoán ưa thích của mình nhưng chúng tôi chưa biết nó sẽ thực hiện như thế nào trên dữ liệu trong thế giới thực hoàn toàn không nhìn thấy. Vì vậy, chúng tôi áp dụng thuật toán dự đoán đã chọn trên bộ thử nghiệm của mình để xem nó sẽ hoạt động như thế nào để chúng tôi có thể có ý tưởng về hiệu suất của thuật toán của chúng tôi trên dữ liệu không nhìn thấy.

Ghi chú:

- Điều rất quan trọng cần lưu ý là không nên bỏ qua giai đoạn thử nghiệm, bởi vì thuật toán hoạt động tốt trong giai đoạn xác thực chéo không thực sự có nghĩa là nó thực sự là tốt nhất, bởi vì các thuật toán được so sánh dựa trên chéo bộ định giá và các quirks và tiếng ồn của nó ...

-Trong giai đoạn thử nghiệm, mục đích là để xem mô hình cuối cùng của chúng ta sẽ đối phó thế nào, vì vậy trong trường hợp hiệu suất của nó rất kém, chúng ta nên lặp lại toàn bộ quá trình bắt đầu từ Giai đoạn đào tạo.

Ở mỗi bước bạn được yêu cầu đưa ra quyết định (nghĩa là chọn một tùy chọn trong số một số tùy chọn), bạn phải có một bộ / phân vùng bổ sung để đánh giá độ chính xác của lựa chọn của bạn để bạn không chỉ đơn giản chọn kết quả ngẫu nhiên thuận lợi nhất và nhầm phần đuôi của phân phối cho trung tâm ¹ . Bên trái là người bi quan. Bên phải là người lạc quan. Trung tâm là người thực dụng. Hãy là người thực dụng.

Bước 1) Đào tạo: Mỗi loại thuật toán có các tùy chọn tham số riêng (số lớp trong Mạng thần kinh, số lượng cây trong Rừng ngẫu nhiên, v.v.). Đối với mỗi thuật toán của bạn, bạn phải chọn một tùy chọn. Đó là lý do tại sao bạn có một bộ đào tạo.

Bước 2) Xác thực: Bây giờ bạn có một bộ sưu tập các thuật toán. Bạn phải chọn một thuật toán. Đó là lý do tại sao bạn có một bộ thử nghiệm. Hầu hết mọi người chọn thuật toán hoạt động tốt nhất trên bộ xác thực (và điều đó ổn). Nhưng, nếu bạn không đo được tỷ lệ lỗi của thuật toán hiệu năng cao nhất của mình trên tập kiểm tra và chỉ đi với tỷ lệ lỗi của nó trên tập xác thực, thì bạn đã nhầm một cách mù quáng kịch bản tốt nhất có thể xảy ra. Đó là một công thức cho thảm họa.

Bước 3) Kiểm tra: Tôi cho rằng nếu thuật toán của bạn không có bất kỳ tham số nào thì bạn sẽ không cần bước thứ ba. Trong trường hợp đó, bước xác nhận của bạn sẽ là bước kiểm tra của bạn. Có lẽ Matlab không yêu cầu bạn tham số hoặc bạn đã chọn không sử dụng chúng và đó là nguồn gốc của sự nhầm lẫn của bạn.

¹ Thường rất hữu ích khi đi vào từng bước với giả định (giả thuyết null) rằng tất cả các tùy chọn đều giống nhau (ví dụ: tất cả các tham số đều giống nhau hoặc tất cả các thuật toán đều giống nhau), do đó tôi tham khảo phân phối.

² Hình ảnh này không phải của riêng tôi. Tôi đã lấy nó từ trang web này: http://www.teamten.com/lawrence/writings/bell-curve.png

Nó không theo sau mà bạn cần phải phân chia dữ liệu theo bất kỳ cách nào. Bootstrap có thể cung cấp các ước tính lỗi bình phương trung bình nhỏ hơn về độ chính xác dự đoán bằng cách sử dụng toàn bộ mẫu cho cả việc phát triển và thử nghiệm mô hình.

Một tác vụ học máy thông thường có thể được hình dung như vòng lặp lồng nhau sau đây:

while (error in validation set > X) {
    tune hyper-parameters
    while (error in training set > Y) {
        tune parameters
    }
}

Thông thường, vòng lặp bên ngoài được thực hiện bởi con người , trên bộ xác nhận và vòng lặp bên trong bằng máy , trên tập huấn luyện . Sau đó, bạn cần một bộ thử nghiệm thứ 3 để đánh giá hiệu suất cuối cùng của mô hình.

Nói cách khác, bộ xác nhận là tập huấn luyện cho con người.

Một cách để nghĩ về ba bộ này là hai trong số chúng ( trainingvà validation) đến từ quá khứ, trong khi testbộ này đến từ "tương lai". Mô hình nên được xây dựng và điều chỉnh bằng cách sử dụng dữ liệu từ "quá khứ" ( training/ validationdữ liệu), nhưng không bao giờ testdữ liệu đến từ "tương lai".

Để đưa ra một ví dụ thực tế, giả sử chúng ta đang xây dựng một mô hình để dự đoán các cầu thủ bóng chày sẽ làm tốt như thế nào trong tương lai. Chúng tôi sẽ sử dụng dữ liệu từ 1899-2014 để tạo testvà validationthiết lập. Khi mô hình được xây dựng và điều chỉnh trên các dữ liệu đó, chúng tôi sẽ sử dụng dữ liệu từ năm 2015 (thực tế là trong quá khứ!) Làm tập hợp thử nghiệm, từ quan điểm của mô hình xuất hiện như dữ liệu "tương lai" và không ảnh hưởng đến việc tạo mô hình . (Rõ ràng, về lý thuyết, chúng ta có thể đợi dữ liệu từ năm 2016 nếu chúng ta thực sự muốn!)

Rõ ràng là tôi đang sử dụng dấu ngoặc kép ở mọi nơi, bởi vì thứ tự thời gian thực của dữ liệu có thể không trùng với tương lai thực tế (theo định nghĩa, tất cả việc tạo dữ liệu có thể diễn ra trong quá khứ thực tế). Trong thực tế, testtập hợp có thể chỉ đơn giản là dữ liệu trong cùng khoảng thời gian với training/ validationbộ mà bạn "giữ". Theo cách này, nó không có ảnh hưởng đến việc điều chỉnh mô hình, nhưng những dữ liệu đó không thực sự đến từ tương lai.

Hầu hết các thuật toán khai thác dữ liệu được giám sát đều tuân theo ba bước sau:

1. Tập huấn luyện được sử dụng để xây dựng mô hình. Điều này chứa một tập hợp dữ liệu có các biến dự đoán và mục tiêu được phân loại trước.
2. Thông thường, một bộ dữ liệu giữ hoặc bộ kiểm tra được sử dụng để đánh giá mức độ tốt của mô hình với dữ liệu ngoài tập huấn luyện. Tập kiểm thử chứa dữ liệu kết quả được phân loại trước nhưng chúng không được sử dụng khi dữ liệu của tập kiểm tra được chạy qua mô hình cho đến khi kết thúc, khi dữ liệu được phân loại được so sánh với kết quả của mô hình. Mô hình được điều chỉnh để giảm thiểu lỗi trên bộ kiểm tra.
3. Một bộ dữ liệu hoặc bộ xác nhận giữ lại khác được sử dụng để đánh giá mô hình đã điều chỉnh ở bước # 2, một lần nữa, dữ liệu của bộ xác thực được chạy so với mô hình đã điều chỉnh và kết quả so với dữ liệu được phân loại trước không sử dụng.

Một số người nhầm lẫn về lý do tại sao chúng tôi sử dụng bộ xác thực, vì vậy tôi sẽ đưa ra lời giải thích đơn giản, trực quan về những gì sẽ xảy ra nếu bạn không sử dụng bộ dữ liệu xác thực.

Nếu bạn không sử dụng bộ xác thực, thay vào đó, bạn sẽ phải chọn siêu đường kính và quyết định khi nào ngừng đào tạo dựa trên hiệu suất của mô hình trên tập dữ liệu thử nghiệm. Nếu bạn quyết định khi nào ngừng đào tạo dựa trên hiệu suất của mô hình trên tập dữ liệu thử nghiệm, bạn có thể dừng đào tạo khi mô hình xảy ra hoạt động tốt trên tập dữ liệu thử nghiệm. Sau đó, khi bạn báo cáo kết quả của mình, bạn báo cáo độ chính xác trên tập dữ liệu thử nghiệm. Vấn đề với điều này là bạn có thể nói rằng mô hình của bạn đã thực sự hoạt động tốt khi thực tế nó chỉ là một biến thể ngẫu nhiên khiến nó hoạt động tốt hơn chỉ trong bộ thử nghiệm.

Thay vào đó, nếu bạn sử dụng một bộ xác thực để quyết định khi nào ngừng đào tạo, thì độ chính xác của mô hình trên bộ thử nghiệm sẽ phản ánh không thiên vị về việc nó thực hiện tốt nhiệm vụ nói chung như thế nào và nó cho thấy rằng bạn đã không tối ưu hóa mô hình chỉ để thực hiện tốt trên bộ thử nghiệm.

Tôi muốn thêm vào các câu trả lời rất hay khác ở đây bằng cách chỉ ra một cách tiếp cận tương đối mới trong học máy gọi là "quyền riêng tư khác biệt" (xem bài viết của Dwork; Blog Win Vector để biết thêm). Ý tưởng cho phép thực sự sử dụng lại bộ thử nghiệm mà không ảnh hưởng đến hiệu suất mô hình cuối cùng. Trong một cài đặt thông thường, bộ kiểm tra chỉ được sử dụng để ước tính hiệu suất cuối cùng; lý tưởng nhất là thậm chí không được phép nhìn vào nó.

Vì nó được mô tả tốt trong blog Win Vector này (cũng xem các mục khác), có thể "sử dụng" bộ kiểm tra mà không làm sai lệch hiệu suất của mô hình. Điều này được thực hiện bằng cách sử dụng thủ tục đặc biệt gọi là "quyền riêng tư khác biệt". Người học sẽ không có quyền truy cập trực tiếp vào bộ kiểm tra.

Ý tưởng của tôi là những tùy chọn trong hộp công cụ mạng thần kinh là để tránh quá mức. Trong tình huống này, các trọng số chỉ được chỉ định cho dữ liệu đào tạo và không hiển thị xu hướng toàn cầu. Bằng cách có một bộ xác thực, các lần lặp có thể thích ứng với việc giảm lỗi dữ liệu huấn luyện gây ra giảm dữ liệu xác nhận và tăng lỗi dữ liệu xác nhận; cùng với việc giảm lỗi dữ liệu huấn luyện, điều này cho thấy hiện tượng quá mức.