Trong lý thuyết học thống kê, không có vấn đề gì về việc quá mức trong một bài kiểm tra?

Chúng ta hãy xem xét vấn đề về việc phân loại bộ dữ liệu MNIST.

Theo trang web MNIST của Yann LeCun , 'Ciresan et al.' nhận được 0,23% tỷ lệ lỗi trên bộ kiểm tra MNIST bằng cách sử dụng Mạng thần kinh chuyển đổi.

Chúng ta hãy biểu thị tập huấn luyện MNIST là , bài kiểm tra MNIST được đặt là , giả thuyết cuối cùng họ nhận được khi sử dụng là và tỷ lệ lỗi của họ trên tập kiểm tra MNIST sử dụng như . $D_{train}$ $D_{test}$ $D_{train}$ $h_{1}$ $h_{1}$ $E_{test}(h_{1}) = 0.0023$

Theo quan điểm của họ, vì được lấy mẫu ngẫu nhiên được đặt từ không gian đầu vào bất kể , họ có thể khẳng định rằng hiệu suất lỗi ngoài mẫu của giả thuyết cuối cùng của họ được giới hạn như sau từ bất đẳng thức Hoeffding $D_{test}$ $h_{1}$ $E_{out}(h_{1})$ nơi.

P [| E_{o u t} (h_{1}) - E_{t e s t} (h_{1}) | < ϵ |] \geq 1 - 2 e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}}$

N_{t e s t} = | D_{t e s t} |

$N_{test}=|D_{test}|$

Nói cách khác, ít nhất là xác xuất , $1-\delta$

E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}$

Hãy xem xét một quan điểm khác. Giả sử rằng một số người muốn phân loại tốt thử nghiệm MNIST. Vì vậy, lần đầu tiên anh nhìn vào trang web MNIST của Yann LeCun và thấy kết quả sau đây của những người khác sử dụng 8 mô hình khác nhau,

Kết quả phân loại MNIST

$g$

$g$ $D_{test}$ $H_{trained}=\{h_1, h_2, .. ,h_8\}$

$E_{test}(g)$

P [| E_{o u t} (g) - E_{i n} (g) | < ϵ] \geq 1 - 2 | H_{t r a i n e d} | e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(g)-E_{in}(g)|<\epsilon] \geq 1 - 2|H_{trained}|e^{2\epsilon^{2}N_{test}}$

$1-\delta$

E_{o u t} (g) \leq E_{t e s t} (g) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}

$E_{out}(g) \leq E_{test}(g) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

Kết quả này ngụ ý rằng có thể có quá mức trên bộ thử nghiệm nếu chúng ta chọn mô hình hoạt động tốt nhất trong số một số mô hình.

$h_{1}$ $E_{test}(h_{1}) = 0.0023$ $h_{1}$ $D_{test}$ $h_{1}$

E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

P [E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}\;] \geq 1-\delta$

P [E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}\;] \geq 1-\delta$

Howerver, rõ ràng là hai bất đẳng thức này không tương thích.

Tôi đang làm sai ở đâu? Cái nào đúng và cái nào sai?

Nếu điều sau là sai, cách đúng đắn để áp dụng ràng buộc VC cho các bộ giả thuyết hữu hạn trong trường hợp này là gì?

— asqdf
nguồn

$g=h_1$ $g$ $h_1$

$g$ $H_{trained} = \{ h_1, h_2,..., h_8 \}$ $D_{test}$

Vì thế, $g$ là một chức năng của $D_{test}$ . Đối với một bộ thử nghiệm cụ thể, $D^*_{test}$ (giống như bạn đã đề cập), nó có thể xảy ra rằng $g(D^*_{test}) = h_1$ , nhưng nói chung, tùy thuộc vào bộ thử nghiệm, $g(D_{test})$ có thể nhận bất kỳ giá trị nào trong $H_{trained}$ . Mặt khác $h_1$ chỉ là một giá trị trong $H_{trained}$ .

Đối với câu hỏi khác:

Nếu điều sau là sai, cách đúng đắn để áp dụng ràng buộc VC cho các bộ giả thuyết hữu hạn trong trường hợp này là gì?

Chỉ không thay thế $g$ bởi $h_1$ , bạn sẽ có được ràng buộc chính xác (cho $g$ , tất nhiên) và nó sẽ không có xung đột với các ràng buộc khác (dành cho $h_1$ ).

— Trần Trần
nguồn