Tối ưu hóa: Căn nguyên của mọi tội lỗi trong thống kê?

Tôi đã nghe các biểu hiện sau đây:

"Tối ưu hóa là gốc rễ của mọi tội lỗi trong thống kê".

Ví dụ, câu trả lời hàng đầu trong chủ đề này làm cho tuyên bố đó liên quan đến nguy cơ tối ưu hóa quá mạnh mẽ trong quá trình lựa chọn mô hình.

Câu hỏi đầu tiên của tôi là như sau: Câu nói này có được quy cho bất kỳ ai nói riêng không? (ví dụ trong tài liệu thống kê)

Từ những gì tôi hiểu, tuyên bố đề cập đến những rủi ro của việc quá mức. Sự khôn ngoan truyền thống sẽ nói rằng xác nhận chéo thích hợp đã chiến đấu chống lại vấn đề này, nhưng có vẻ như có nhiều vấn đề hơn thế.

Các nhà thống kê & các học viên ML có nên cảnh giác với việc tối ưu hóa quá mức các mô hình của họ ngay cả khi tuân thủ các giao thức xác thực chéo nghiêm ngặt (ví dụ 100 CV 10 lần lồng nhau)? Nếu vậy, làm thế nào để chúng ta biết khi nào ngừng tìm kiếm mô hình "tốt nhất"?

Câu trích dẫn này là một cách diễn đạt của một câu trích dẫn của Donald Knuth , một câu mà anh ta tự gán cho Hoare. Ba trích đoạn từ trang trên:

Tối ưu hóa sớm là gốc rễ của mọi tội lỗi (hoặc ít nhất là phần lớn) trong lập trình.

Tối ưu hóa sớm là gốc rễ của mọi tội lỗi.

Knuth gọi điều này là "Hoare's Dictum" 15 năm sau ...

Tôi không biết rằng tôi đồng ý với cách diễn đạt thống kê *. Có rất nhiều 'ác' trong thống kê không liên quan đến tối ưu hóa.

Các nhà thống kê & các học viên ML có nên luôn cảnh giác với việc tối ưu hóa quá mức các mô hình của họ ngay cả khi tuân thủ các giao thức xác thực chéo nghiêm ngặt (ví dụ 100 CV 10 lần lồng nhau)? Nếu vậy, làm thế nào để chúng ta biết khi nào ngừng tìm kiếm mô hình "tốt nhất"?

Tôi nghĩ rằng điều quan trọng là phải hiểu đầy đủ (hoặc đầy đủ là khả thi) các thuộc tính của những thủ tục bạn thực hiện.

$\,^\text{* I won't presume to comment on Knuth's use of it, since there's little I could}$ $\quad ^\text{say that he couldn't rightly claim to understand ten times as well as I do.}$

Một vài cách bạn có thể phân tích trích dẫn (trong thống kê), giả sử tối ưu hóa đề cập đến lựa chọn mô hình (dựa trên dữ liệu):

• Nếu bạn quan tâm đến dự đoán, bạn có thể tốt hơn với tính trung bình của mô hình thay vì chọn một mô hình duy nhất.
• Nếu bạn chọn một mô hình trên cùng một tập dữ liệu được sử dụng để phù hợp với mô hình đó, nó sẽ tàn phá các công cụ / quy trình suy luận thông thường giả định rằng bạn đã chọn mô hình đó là một tiên nghiệm . (Giả sử bạn thực hiện hồi quy từng bước, chọn kích thước mô hình bằng xác thực chéo. Đối với phân tích Thường xuyên, các giá trị p hoặc CIs thông thường cho mô hình đã chọn sẽ không chính xác. Tôi chắc chắn có các vấn đề tương ứng đối với các phân tích Bayes liên quan đến mô hình lựa chọn.)
• Nếu tập dữ liệu của bạn đủ lớn so với họ mô hình bạn xem xét, việc quá mức thậm chí có thể không phải là vấn đề và lựa chọn mô hình có thể không cần thiết. (Giả sử bạn sẽ phù hợp với hồi quy tuyến tính bằng cách sử dụng bộ dữ liệu với một vài biến và rất nhiều quan sát. Bất kỳ biến giả nào cũng sẽ nhận được hệ số ước tính gần bằng 0, vì vậy có lẽ bạn không cần phải chọn mô hình nhỏ hơn.)
• Nếu tập dữ liệu của bạn đủ nhỏ, bạn có thể không có đủ dữ liệu để phù hợp với mô hình "đúng" hoặc "tốt nhất" cho vấn đề. Điều đó có nghĩa gì khi thực hiện lựa chọn mô hình tốt, trong trường hợp đó? (Trở về hồi quy tuyến tính: có nên bạn nhằm mục đích để chọn mô hình "true" với các biến đúng, ngay cả khi bạn không có đủ dữ liệu để đo lường chúng tất cả đầy đủ nên bạn chỉ cần chọn các mô hình lớn nhất mà bạn làm có đủ dữ liệu ?)
• Cuối cùng, ngay cả khi rõ ràng bạn có thể và nên thực hiện lựa chọn mô hình, xác thực chéo không phải là thuốc chữa bách bệnh. Nó có nhiều biến thể và thậm chí cả tham số điều chỉnh riêng (số lần gấp hoặc tỷ lệ kiểm tra: tỷ lệ kiểm tra) tác động đến các thuộc tính của nó. Vì vậy, đừng tin tưởng nó một cách mù quáng.