Là một mô hình quá mức nhất thiết phải vô dụng?

Giả sử rằng một mô hình có độ chính xác 100% trên dữ liệu huấn luyện, nhưng độ chính xác 70% trên dữ liệu thử nghiệm. Là đối số sau đây đúng về mô hình này?

Rõ ràng rằng đây là một mô hình quá mức. Độ chính xác kiểm tra có thể được tăng cường bằng cách giảm quá mức. Nhưng, mô hình này vẫn có thể là một mô hình hữu ích, vì nó có độ chính xác chấp nhận được đối với dữ liệu thử nghiệm.

Tôi nghĩ rằng lập luận là chính xác. Nếu 70% được chấp nhận trong ứng dụng cụ thể, thì mô hình sẽ hữu ích mặc dù nó được cung cấp quá mức (nói chung hơn, bất kể nó có bị quá mức hay không).

Trong khi cân bằng quá mức chống lại sự tối ưu mối quan tâm (tìm kiếm một giải pháp tối ưu), có hiệu suất thỏa đáng là về sự đầy đủ (mô hình có hoạt động đủ tốt cho nhiệm vụ không?). Một mô hình có thể đủ tốt mà không được tối ưu.

Chỉnh sửa: sau các nhận xét của Fireorms và Matthew Drury trong OP, tôi sẽ thêm điều đó để đánh giá xem mô hình có bị quá mức mà không biết hiệu suất xác thực có thể có vấn đề hay không. Fireorms đề nghị so sánh xác nhận so với hiệu suất thử nghiệm để đo lượng quá mức. Tuy nhiên, khi mô hình cung cấp độ chính xác 100% trên tập huấn luyện mà không cung cấp độ chính xác 100% trên tập kiểm tra, đó là một chỉ số về khả năng quá mức (đặc biệt là trong trường hợp hồi quy nhưng không nhất thiết phải phân loại).

Trong dự án trước đây của tôi với phát hiện gian lận thẻ tín dụng, chúng tôi cố tình muốn phù hợp với dữ liệu / mã hóa cứng để ghi nhớ các trường hợp gian lận. (Lưu ý, việc quá mức một lớp không chính xác là vấn đề quá mức chung mà OP đã nói đến.) Hệ thống như vậy có mức độ sai tương đối thấp và đáp ứng nhu cầu của chúng tôi.

Vì vậy, tôi sẽ nói, mô hình quá mức có thể hữu ích cho một số trường hợp.

Có lẽ: coi chừng. Khi bạn nói rằng độ chính xác 70% (tuy nhiên bạn đo nó) là đủ tốt cho bạn, có cảm giác như bạn cho rằng các lỗi được phân phối ngẫu nhiên hoặc đồng đều.

Nhưng một trong những cách để xem xét quá mức là nó xảy ra khi một kỹ thuật mô hình cho phép (và quá trình đào tạo của nó khuyến khích) chú ý quá nhiều đến những điều kỳ quặc trong tập huấn luyện. Các đối tượng trong dân số chung có chung những điều kỳ quặc này có thể có kết quả không cân bằng cao.

Vì vậy, có lẽ bạn kết thúc với một mô hình nói rằng tất cả những con chó màu đỏ đều bị ung thư - bởi vì điều đó đặc biệt trong dữ liệu huấn luyện của bạn. Hoặc những người đã kết hôn trong độ tuổi từ 24 đến 26 gần như được đảm bảo nộp các yêu cầu bảo hiểm gian lận. Độ chính xác 70% của bạn để lại rất nhiều chỗ cho các đối tượng bị sai 100% vì mô hình của bạn quá phù hợp.

(Không phải là quá phù hợp không phải là một đảm bảo rằng bạn sẽ không có những dự đoán sai. .)

Không, chúng có thể hữu ích, nhưng nó phụ thuộc vào mục đích của bạn. Một số điều mùa xuân đến tâm trí:

1. $F_\beta$$\beta \gg 1$

2. Một bộ phân loại như vậy có thể thực sự hữu ích trong một tập hợp . Chúng ta có thể có một bộ phân loại với trọng lượng bình thường, một loại vượt trội so với TPR, một phân loại áp đảo FNR. Sau đó, ngay cả việc bỏ phiếu theo quy tắc đơn giản, hoặc tính trung bình, sẽ cho AUC tốt hơn bất kỳ phân loại tốt nhất nào. Nếu mỗi mô hình sử dụng các siêu đường kính khác nhau (hoặc các tập huấn luyện mẫu phụ hoặc các kiến ​​trúc mô hình), thì nó sẽ mua được một số miễn dịch đối với quá mức.

3. Tương tự, đối với chống thư rác, chống gian lận hoặc chấm điểm tín dụng theo thời gian thực , bạn có thể sử dụng hệ thống phân loại. Các trình phân loại cấp 1 nên đánh giá rất nhanh (ms) và có thể có FPR cao ; bất kỳ sai lầm nào họ mắc phải sẽ bị bắt bởi các phân loại cấp cao hơn chính xác hơn, đầy đủ tính năng hơn, chậm hơn hoặc cuối cùng là người đánh giá con người. Ví dụ rõ ràng: ngăn chặn các tiêu đề tin tức giả mạo từ các vụ chiếm đoạt tài khoản Twitter như "Vụ đánh bom Nhà Trắng" giết chết ba người "ảnh hưởng đến hàng tỷ đô la giao dịch trong vòng ms sau khi đăng. Việc phân loại cấp 1 được đánh dấu là dương tính với thư rác; hãy cho phép một chút thời gian để (tự động) xác định sự thật / sai của các báo cáo tin tức giật gân nhưng chưa được xác minh.

Tôi không phủ nhận rằng một mô hình quá mức vẫn có thể hữu ích. Nhưng hãy nhớ rằng 70% này có thể là một thông tin sai lệch. Những gì bạn cần để đánh giá xem một mô hình có hữu ích hay không là lỗi ngoài mẫu , không phải lỗi kiểm tra (không biết lỗi ngoài mẫu, vì vậy chúng tôi phải ước tính nó bằng cách sử dụng bộ kiểm tra bịt mắt ), và 70% đó chỉ là xấp xỉ tốt.

Để đảm bảo rằng chúng tôi ở cùng một trang về thuật ngữ sau nhận xét của @RichardHardy, hãy xác định lỗi kiểm tra là lỗi thu được khi áp dụng mô hình trên bộ kiểm tra mù. Và lỗi ngoài mẫu là lỗi khi áp dụng mô hình cho toàn bộ dân số.

Giá trị gần đúng của lỗi ngoài mẫu phụ thuộc vào hai điều: chính mô hình và dữ liệu.

• Một mô hình "tối ưu" mang lại độ chính xác (thử nghiệm) hiếm khi phụ thuộc vào dữ liệu, trong trường hợp này, nó sẽ là một xấp xỉ tốt. "Bất kể" dữ liệu, lỗi dự đoán sẽ ổn định.

• Nhưng, độ chính xác của một mô hình quá mức phụ thuộc rất nhiều vào dữ liệu (như bạn đã đề cập 100% trên tập huấn luyện và 70% cho tập khác). Vì vậy, có thể xảy ra rằng khi áp dụng cho một tập dữ liệu khác, độ chính xác có thể thấp hơn 70% (hoặc cao hơn) và chúng ta có thể có những bất ngờ xấu. Nói cách khác, 70% đó là cho bạn biết bạn tin nó là gì, nhưng thực tế không phải vậy.