Khi nào không sử dụng xác nhận chéo?

Khi tôi đọc qua trang web, hầu hết các câu trả lời cho thấy nên xác thực chéo trong các thuật toán học máy. Tuy nhiên khi tôi đọc cuốn sách "Tìm hiểu về học máy", tôi thấy có một bài tập đôi khi không nên sử dụng xác nhận chéo. Tôi thực sự bối rối. Khi thuật toán đào tạo trên toàn bộ dữ liệu tốt hơn xác nhận chéo? Nó có xảy ra trong các tập dữ liệu thực không?

Cho là lớp giả thuyết k. Giả sử bạn được cho m IID đào tạo ví dụ và bạn muốn tìm hiểu các lớp H = ∪ k i = 1 H i . Xem xét hai phương pháp thay thế:$H_1,...,H_k$$m$$H=\cup^k_{i=1}H_i$

1. Tìm hiểu trên các ví dụ m bằng quy tắc ERM$H$$m$

2. Chia ví dụ m vào một tập huấn luyện của kích thước và một bộ xác nhận kích thước α m , đối với một số α ∈ ( 0 , 1 ) . Sau đó, áp dụng phương pháp lựa chọn mô hình bằng cách sử dụng xác nhận. Đó là, fi RST đào tạo mỗi lớp H i trên ( 1 - α ) m ví dụ huấn luyện bằng cách sử dụng quy tắc ERM đối với H i , và để cho h 1 , ... , h$(1−\alpha)m$$\alpha m$$\alpha\in(0,1)$$H_i$$(1−\alpha)m$$H_i$$\hat{h}_1,\ldots,\hat{h}_k$là những giả thuyết kết quả. Thứ hai, áp dụng các quy tắc ERM liên quan đến lớp fi nite { h 1 , ... , h k } trên α m ví dụ xác nhận.$\hat{h}_1,\ldots,\hat{h}_k$$\alpha m$

Mô tả các kịch bản trong đó phương pháp đầu tiên tốt hơn phương pháp thứ hai và ngược lại.

Hình ảnh của quastion .

Tin nhắn mang về nhà:

• excercise sẽ dạy cho bạn rằng đôi khi (tùy thuộc vào lĩnh vực của bạn: thường xuyên hoặc thậm chí gần như luôn luôn) tốt hơn là không thực hiện tối ưu hóa / điều chỉnh / lựa chọn mô hình dựa trên dữ liệu.

• Cũng có những tình huống trong đó xác nhận chéo không phải là lựa chọn tốt nhất trong số các tùy chọn xác thực khác nhau , nhưng những cân nhắc này không liên quan trong bối cảnh bài tập của bạn ở đây.

• Và không xác nhận (xác minh, thử nghiệm) mô hình của bạn không bao giờ là một lựa chọn tốt.

Thật không may, văn bản bạn trích dẫn thay đổi hai điều giữa cách tiếp cận 1 và 2:

• Cách tiếp cận 2 thực hiện xác nhận chéo và lựa chọn / điều chỉnh / tối ưu hóa mô hình dựa trên dữ liệu
• Cách tiếp cận 1 không sử dụng xác nhận chéo, cũng như lựa chọn / điều chỉnh / tối ưu hóa mô hình dựa trên dữ liệu.
• Cách tiếp cận 3 xác thực chéo mà không cần lựa chọn / điều chỉnh / tối ưu hóa mô hình dựa trên dữ liệu là hoàn toàn khả thi (amd IMHO sẽ dẫn đến cái nhìn sâu sắc hơn) trong bối cảnh được thảo luận ở đây
• Cách tiếp cận 4, không có xác nhận chéo nhưng lựa chọn / điều chỉnh / tối ưu hóa mô hình dựa trên dữ liệu là có thể, nhưng phức tạp hơn để xây dựng.

IMHO, xác thực chéo và tối ưu hóa dựa trên dữ liệu là hai quyết định hoàn toàn khác nhau (và phần lớn độc lập) trong việc thiết lập chiến lược mô hình hóa của bạn. Kết nối duy nhất là bạn có thể sử dụng các ước tính xác thực chéo làm chức năng đích để tối ưu hóa. Nhưng có tồn tại các chức năng đích khác đã sẵn sàng để sử dụng và có những cách sử dụng khác cho ước tính xác thực chéo (quan trọng là bạn có thể sử dụng chúng để xác minh mô hình của mình, còn gọi là xác thực hoặc thử nghiệm)

Thật không may, thuật ngữ học máy là IMHO hiện đang là một mớ hỗn độn gợi ý các kết nối / nguyên nhân / phụ thuộc sai ở đây.

• Khi bạn tìm cách tiếp cận 3 (xác thực chéo không phải để tối ưu hóa mà để đo hiệu suất mô hình), bạn sẽ thấy xác thực chéo "quyết định" so với đào tạo trên toàn bộ dữ liệu là phân đôi giả trong ngữ cảnh này: Khi sử dụng xác thực chéo để đo hiệu suất phân loại, số liệu xác thực chéo được sử dụng làm ước tính cho một mô hình được đào tạo trên toàn bộ tập dữ liệu. Tức là cách tiếp cận 3 bao gồm cách tiếp cận 1.

• $p$các tham số / hệ số của mô hình, nhưng những gì tối ưu hóa thực hiện là ước tính các tham số xa hơn, cái gọi là siêu đường kính. Nếu bạn mô tả quá trình điều chỉnh và tối ưu hóa điều chỉnh mô hình là tìm kiếm các tham số mô hình, thì tối ưu hóa siêu tham số này có nghĩa là không gian tìm kiếm lớn hơn rất nhiều được xem xét. Nói cách khác, trong cách tiếp cận 1 (và 3), bạn hạn chế không gian tìm kiếm bằng cách chỉ định các siêu đường kính đó. Tập dữ liệu trong thế giới thực của bạn có thể đủ lớn (chứa đủ thông tin) để cho phép khớp trong không gian tìm kiếm bị hạn chế đó, nhưng không đủ lớn để sửa tất cả các tham số đủ tốt trong không gian tìm kiếm lớn hơn của phương pháp 2 (và 4).

Trong thực tế, trong lĩnh vực của tôi, tôi rất thường xuyên phải đối phó với các tập dữ liệu quá nhỏ để cho phép mọi suy nghĩ về tối ưu hóa dựa trên dữ liệu. Vì vậy, tôi phải làm gì thay vào đó: Tôi sử dụng kiến ​​thức miền của mình về các quy trình tạo dữ liệu và dữ liệu để quyết định mô hình nào phù hợp với bản chất vật lý của dữ liệu và ứng dụng. Và trong phạm vi này, tôi vẫn phải hạn chế độ phức tạp của mô hình.