Khi nào một quy tắc chấm điểm thích hợp là một ước tính tốt hơn về khái quát hóa trong một thiết lập phân loại?

Một cách tiếp cận điển hình để giải quyết vấn đề phân loại là xác định một lớp các mô hình ứng viên và sau đó thực hiện lựa chọn mô hình bằng cách sử dụng một số quy trình như xác nhận chéo. Thông thường, người ta chọn mô hình có độ chính xác cao nhất hoặc một số chức năng liên quan mã hóa thông tin cụ thể của vấn đề, như .$\text{F}_\beta$

Giả sử mục tiêu cuối cùng là tạo ra một bộ phân loại chính xác (trong đó định nghĩa về độ chính xác là một lần nữa, phụ thuộc vào vấn đề), trong trường hợp nào tốt hơn là thực hiện lựa chọn mô hình bằng cách sử dụng quy tắc chấm điểm thích hợp, trái với điều gì đó không chính xác, như độ chính xác, độ chính xác, thu hồi , Vân vân? Hơn nữa, chúng ta hãy bỏ qua các vấn đề về độ phức tạp của mô hình và giả sử một tiên nghiệm mà chúng ta xem xét tất cả các mô hình có khả năng như nhau.

Trước đây tôi sẽ nói không bao giờ. Chúng ta biết, trong một ý nghĩa chính thức, phân loại là một vấn đề dễ dàng hơn hồi quy [1], [2] và chúng ta có thể lấy được giới hạn chặt chẽ hơn đối với các cựu hơn sau ( ). Hơn nữa, có những trường hợp khi cố gắng khớp chính xác xác suất có thể dẫn đến ranh giới quyết định không chính xác hoặc quá mức . Tuy nhiên, dựa trên cuộc trò chuyện ở đây và mô hình bỏ phiếu của cộng đồng liên quan đến các vấn đề như vậy, tôi đã đặt câu hỏi về quan điểm này.$*$

1. Devroye, Luc. Một lý thuyết xác suất của nhận dạng mẫu. Tập 31. springer, 1996., Mục 6.7
2. Kearns, Michael J. và Robert E. Schapire. Học tập hiệu quả miễn phí phân phối các khái niệm xác suất. Những nền tảng của Khoa học Máy tính, 1990. Kỷ yếu., Hội nghị chuyên đề hàng năm lần thứ 31 về. IEEE, 1990.

$(*)$$S = \{(x_1, y_1), \ldots, (x_n, y_n)\}$$x_i \in \mathcal{X}$$y_i \in \{1, \ldots, K\}$

$t$$\frac{1}{\pi}$$\frac{2}{\pi}$$\frac{2}{3}$