Dao cạo của Occam đã lỗi thời?

Tôi đã thấy những cuốn sách của Vapnik về học thống kê ... Tôi đã đọc một vài chương đầu tiên. Dù sao, điều làm tôi ngạc nhiên nhất là anh ấy nghĩ rằng dao cạo của Occam đã lỗi thời.

Tôi nghĩ rằng nó có liên quan đến tình huống trong đó giả sử kích thước cao hơn cải thiện sự phù hợp đáng kể.

Tôi hiểu đúng chưa? Có đúng là dao cạo của Occam không còn đúng như vnniknik đã nói?

Có bất kỳ tranh luận rằng dao cạo của Occam không nên được coi là mặc định?

Các câu chính xác đến từ Lời nói đầu đến Ấn bản thứ hai của Bản chất của học thống kê , đó là:

Những năm kể từ lần xuất bản đầu tiên của cuốn sách cũng đã thay đổi triết lý chung theo cách hiểu của chúng ta về bản chất của vấn đề cảm ứng. Sau nhiều thử nghiệm thành công với SVM, các nhà nghiên cứu đã quyết tâm hơn khi chỉ trích triết lý cổ điển về khái quát hóa dựa trên nguyên tắc dao cạo của Occam. "

Tôi ước ai đó có thể giải thích những lời chỉ trích về dao cạo của Occam.

Phụ thuộc vào những gì bạn coi là "dao cạo của Occam"; công thức ban đầu là một mumbo-jumbo thần học không rõ ràng, vì vậy nó phát triển thành một loạt các giải thích (thường không tương thích).

Vapnik chỉ trích phiên bản ultranaive nói ít hơn rằng một mô hình có số lượng tham số được trang bị thấp hơn sẽ tốt hơn vì có quá nhiều tham số ngụ ý quá mức, tức là có gì đó trong giai điệu của nghịch lý Runge .
Tất nhiên đó là sai trong học máy bởi vì "sự tham lam của sự phù hợp" không bị hạn chế bởi các tham số số mà (thông qua một số heuristic) bởi độ chính xác của mô hình trên dữ liệu trong tương lai.

Nhưng nó có nghĩa là đào tạo ML đang giới thiệu đa số mà không cần thiết? Cá nhân tôi sẽ nói không, chủ yếu là do phần thứ hai - các mô hình ML thường tốt hơn so với hồi quy cổ điển bằng tay, do đó, sự phức tạp thêm này sẽ được đền đáp. Ngay cả khi nó có thể được con người giảm xuống thành một lý thuyết đơn giản hơn, thì điều này hầu như luôn luôn có giá của các giả định thêm, vì vậy nó không phải là một so sánh công bằng.