Tại sao thông tin về dữ liệu xác nhận bị rò rỉ nếu tôi đánh giá hiệu suất mô hình trên dữ liệu xác thực khi điều chỉnh siêu âm?

Trong bài học sâu của François Chollet với Python, nó nói:

Do đó, việc điều chỉnh cấu hình của mô hình dựa trên hiệu suất của nó trên bộ xác thực có thể nhanh chóng dẫn đến việc quá mức cho bộ xác thực, mặc dù mô hình của bạn không bao giờ được đào tạo trực tiếp về nó.

Trung tâm của hiện tượng này là khái niệm rò rỉ thông tin. Mỗi khi bạn điều chỉnh siêu tham số của mô hình dựa trên hiệu suất của mô hình trên bộ xác thực, một số thông tin về rò rỉ dữ liệu xác thực vào mô hình . Nếu bạn chỉ làm điều này một lần, cho một tham số, thì rất ít bit thông tin sẽ bị rò rỉ và bộ xác thực của bạn sẽ vẫn đáng tin cậy để đánh giá mô hình. Nhưng nếu bạn lặp lại điều này nhiều lần, khi chạy một thử nghiệm, đánh giá trên bộ xác thực và sửa đổi mô hình của bạn như một kết quả, thì bạn sẽ rò rỉ một lượng thông tin ngày càng đáng kể về xác thực được đặt vào mô hình.

neural-networks cross-validation hyperparameter

— bệnh sốt rét
nguồn

BTW: nó không chỉ phụ thuộc vào tần suất bạn làm điều này mà còn phụ thuộc vào sự không chắc chắn ngẫu nhiên của đánh giá hiệu suất của bạn (chức năng mục tiêu) trong quá trình tối ưu hóa.

— cbeleites không hài lòng với SX 28/12/18

@cbeleites Xin lỗi, điều đó có nghĩa là gì?

— fabiomaia

nếu kết quả định giá được sử dụng để tối ưu hóa là hoàn hảo (nghĩa là không phải lỗi hệ thống hay ngẫu nhiên), tối ưu hóa sẽ chọn mô hình thực sự tối ưu, bạn sẽ không có bất kỳ sự thừa nào và một xác nhận hoàn hảo độc lập khác của mô hình được chọn sẽ mang lại kết quả chính xác như nhau. Việc tối ưu hóa thậm chí có thể chịu được lỗi hệ thống (sai lệch) miễn là nó không thay đổi với các yếu tố bạn thay đổi trong quá trình tối ưu hóa. Bây giờ hãy xem xét điều gì xảy ra nếu có lỗi ngẫu nhiên (độ không đảm bảo của phương sai) trong ước tính hiệu suất: bạn có nhiễu trên đỉnh "cảnh quan" thực sự.

— cbeleites không hài lòng với SX

Nhiễu này có thể làm cho một số điểm (cài đặt siêu tham số) trông tốt hơn so với thực tế, vì vậy những cài đặt siêu tham số đó có thể được chọn một cách tình cờ (và nhầm lẫn). Xác suất xảy ra điều này tăng theo a) số lần bạn nhìn vào các giá trị hiệu suất như vậy và b) lượng nhiễu mà bạn có trên hiệu suất thực (so với mức tăng hiệu suất thực). Đây không phải là lý do tại sao việc sử dụng lại các kết quả xác nhận là rò rỉ dữ liệu, mà là về cách thức quá mức tương ứng xảy ra và mức độ nghiêm trọng của một vấn đề bạn mong đợi - do đó chỉ là một nhận xét.

— cbeleites không hài lòng với SX

Thông tin bị rò rỉ vì bạn đang sử dụng dữ liệu xác nhận để đưa ra các lựa chọn siêu tham số. Về cơ bản, bạn đang tạo ra một vấn đề tối ưu hóa phức tạp: giảm thiểu tổn thất đối với siêu tham số khi được đánh giá dựa trên dữ liệu xác thực, trong đó các tham số siêu tốc này thường hóa mô hình mạng thần kinh có tham số được đào tạo bằng cách sử dụng một tập huấn luyện cụ thể . $\phi$ $\theta$

Mặc dù các tham số được thông báo trực tiếp bởi dữ liệu huấn luyện, siêu tham số được chọn trên cơ sở dữ liệu xác thực. Hơn nữa, vì siêu tham số hoàn toàn ảnh hưởng đến , thông tin từ dữ liệu xác nhận sẽ ảnh hưởng gián tiếp đến mô hình mà bạn chọn. $\theta$ $\phi$ $\phi$ $\theta$

— Sycorax nói phục hồi Monica
nguồn

Nhìn lại, điều này là khá rõ ràng. Nhưng "Nếu bạn làm điều này chỉ một lần, đối với một tham số, thì rất ít bit thông tin sẽ bị rò rỉ" nghĩa là gì? Điều đó có nghĩa là gì và làm thế nào nó tương phản với trường hợp khác trong đó "bạn lặp lại điều này nhiều lần"?

— fabiomaia

Giả sử bạn chỉ thử 2 cấu hình siêu tham số, đo hiệu suất theo dữ liệu xác nhận và chọn mô hình tốt nhất. Có một cơ hội nhỏ hơn rằng, nhờ may mắn mù quáng, bạn đã xoay sở để vượt qua dữ liệu xác nhận. Ngược lại, giả sử bạn thử cấu hình siêu tham số và chọn mô hình tốt nhất dựa trên dữ liệu xác thực. Có một rủi ro lớn hơn, hoàn toàn là do may mắn mù quáng, bạn đã xoay sở để vượt quá dữ liệu xác nhận. Xem thêm: "khu vườn của những con đường rèn" và khám phá các hiệu ứng giả.

2^{10}

$2^{10}$

— Sycorax nói phục hồi Monica

Điều đó làm cho ý nghĩa hoàn hảo. Các từ ngữ trong cuốn sách gốc không phải là tốt nhất. Cảm ơn bạn!

— fabiomaia

Các từ ngữ trong cuốn sách là tuyệt vời.

— Michael M

Đối với bạn nó có vẻ "xuất sắc" bởi vì bạn có thể đã biết những gì tác giả đang nói về. Nhận xét của @Sycorax rõ ràng và hữu ích hơn nhiều đối với tôi.

— fabiomaia