Sẽ có một vấn đề lựa chọn mô hình nếu chúng ta có quyền truy cập vào một lời sấm truyền cho chúng ta lỗi tổng quát hóa chính xác?

Đặt một hàm đưa ra một số giả thuyết h trả về lỗi tổng quát hóa cho h cố định đó .$\mathcal{E(h)}$$h$$h$

Tôi đã đọc một số lưu ý về lựa chọn mô hình và lỗi tổng quát hóa và nó nói:

"Nếu chúng tôi có quyền truy cập vào , thì cũng sẽ không có vấn đề lựa chọn mô hình nào. Chúng tôi chỉ cần chọn kích thước H để tìm một trình phân loại giảm thiểu lỗi."$\mathcal{E(h)}$$\mathcal{H}$

Tôi không chắc chắn nếu tôi hoàn toàn đánh giá cao hoặc hiểu tuyên bố đó hoặc thực sự đồng ý với tuyên bố đó. Lý do là vì, ngay cả khi chúng tôi có quyền truy cập vào (mà tôi nghĩ chúng có nghĩa là một lời tiên tri mất h và chỉ nói lỗi tổng quát hóa thực sự của nó) Tôi nghĩ vẫn sẽ gặp vấn đề khi tìm ra mô hình có giả thuyết rằng khái quát tốt. Lý do là, giả sử rằng các lớp mô hình H là vô hạn (tức là có một tập hợp các mô hình vô hạn để lựa chọn). Chúng tôi không thực sự biết khi nào E ( h ) đạt đến mức tối thiểu trừ khi chúng tôi kiểm tra mọi $\mathcal{E(h)}$$h$$\mathcal{H}$$\mathcal{E(h)}$$\mathcal{H}$điều đó là có thể tức là ngay cả khi chúng ta có một điều như vậy tôi không nghĩ vấn đề được loại bỏ dễ dàng như vậy bởi vì làm thế nào chúng ta có thể chắc chắn rằng chúng ta đã thực sự tìm thấy tốt nhất (trong thời gian đa thức)? Về cơ bản tôi cảm thấy câu hỏi giả định rằng chúng ta có một lời tiên tri để xác định khi nào khái quát hóa là tối thiểu. Hơn nữa, như tôi đã chỉ ra, thuật toán / máy tiện được đề xuất là có thể quyết định và không nằm trong P (tức là nó có thể chạy mãi mãi ...)$\mathcal{H}$

Vấn đề chính / nghi ngờ mà tôi có với câu hỏi này là ngay cả với một Oracle như vậy, tôi không tin rằng lựa chọn mô hình đã bị tầm thường hóa, một câu trả lời cố gắng giải quyết vấn đề cụ thể này, có cơ hội cao hơn để giải quyết câu hỏi của tôi tốt hơn.

Về cơ bản tôi cảm thấy câu hỏi giả định rằng chúng ta có một lời tiên tri để xác định khi nào khái quát hóa là tối thiểu.

Tất nhiên, có điều này sẽ là tuyệt vời. Có một lời sấm truyền cho chúng ta mô hình tốt nhất sẽ còn tốt hơn nữa. Tuy nhiên, bạn dường như giải thích sai chức năng của nhà tiên tri.

$\mathcal{E}(h)$$\hat{\mathcal{E}}(h)$

Bởi vì chúng tôi cần chọn một mô hình dựa trên hiệu suất khái quát hóa ước tính của nó, chúng tôi không có gì đảm bảo chọn đúng mô hình. Đây là những gì làm cho lựa chọn mô hình khó khăn (và hơi tùy tiện). Nếu chúng ta có quyền truy cập vào hiệu suất khái quát hóa thực sự, lựa chọn mô hình sẽ là chuyện nhỏ.

$\mathcal{H}$

Đây là một câu hỏi lý thuyết hay nhưng có phần tiếp tuyến với vấn đề thực tế vì người ta thường muốn chọn mô hình tốt nhất trong một tập hợp các tùy chọn hữu hạn.

Bạn đúng rằng một tập hợp các mô hình thực sự vô hạn sẽ mang lại một vấn đề không thể giải quyết được mà không cần đưa ra các giả định. Trong thực tế, tuy nhiên, một số giả định thêm là hợp lý.

$\mathcal{E}(h)$