Liệu một hồi quy logistic tối đa hóa khả năng cũng nhất thiết phải tối đa hóa AUC trên các mô hình tuyến tính?

Cho một tập dữ liệu với kết quả nhị phân $y\in\{0,1\}^n$ và một số ma trận dự đoán $X\in\mathbb{R}^{n\times p}$ , mô hình hồi quy logistic tiêu chuẩn ước tính các hệ số $\beta_{MLE}$ để tối đa hóa khả năng nhị thức. Khi $X$ đầy đủ thứ hạng $\beta_{MLE}$ là duy nhất; khi sự tách biệt hoàn hảo không có mặt, nó là hữu hạn.

Liệu mô hình khả năng tối đa này cũng tối đa hóa Trung Hoa Dân Quốc AUC (aka $c$ -statistic), hoặc không có tồn tại một số ước tính hệ số $\beta_{AUC} \neq \beta_{MLE}$ mà sẽ có được một cao hơn ROC AUC? Nếu đúng là MLE không nhất thiết phải tối đa hóa ROC AUC, thì một cách khác để xem xét câu hỏi này là "Có cách nào khác để tối đa hóa khả năng sẽ luôn tối đa hóa ROC AUC của hồi quy logistic không?"

Tôi giả sử rằng các mô hình giống nhau: chúng tôi không thêm hoặc xóa các yếu tố dự đoán trong $X$ hoặc thay đổi đặc điểm kỹ thuật mô hình và tôi giả định rằng các mô hình tối đa hóa và tối đa hóa AUC đang sử dụng cùng một chức năng liên kết.

Nó không phải là trường hợp đó $\beta_{MLE} = \beta_{AUC}$ .

Để minh họa điều này, hãy xem xét rằng AUC có thể được viết là

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

Nói cách khác, thứ tự của các dự đoán là điều duy nhất ảnh hưởng đến AUC . Đây không phải là trường hợp với chức năng khả năng. Vì vậy, như một bài tập tinh thần, giả sử chúng ta có một dự đoán duy nhất và trong tập dữ liệu của chúng ta, chúng ta không thấy sự tách biệt hoàn hảo (nghĩa là $\beta_{MLE}$ là hữu hạn). Bây giờ, nếu chúng ta chỉ cần lấy giá trị của công cụ dự đoán lớn nhất và tăng nó lên một lượng nhỏ, chúng ta sẽ thay đổi khả năng của giải pháp này, nhưng nó sẽ không thay đổi AUC, vì thứ tự sẽ giữ nguyên. Do đó, nếu MLE cũ tối đa hóa AUC, nó vẫn sẽ tối đa hóa AUC sau khi thay đổi bộ dự đoán, nhưng sẽ không còn tối đa hóa khả năng.

Như vậy, ít nhất, nó không phải là trường hợp đó $\beta_{AUC}$ không phải là độc đáo; bất kỳ $\beta$ rằng bảo tồn thứ tự của các ước tính đạt cùng AUC chính xác. Nói chung, kể từ khi AUC là nhạy cảm với các khía cạnh khác nhau của dữ liệu, tôi sẽ tin rằng chúng ta sẽ có thể tìm thấy một trường hợp $\beta_{MLE}$ không tối đa hóa $\beta_{AUC}$ . Trên thực tế, tôi mạo hiểm đoán rằng điều này xảy ra với xác suất cao.

EDIT (chuyển bình luận thành câu trả lời)

Bước tiếp theo là chứng minh rằng MLE không nhất thiết phải tối đa hóa AUC (chưa được chứng minh). Người ta có thể làm điều này bằng cách lấy một cái gì đó giống như dự đoán 1, 2, 3, 4, 5, 6, $x$ (với $x > 6$ ) với kết quả 0, 0, 0, 1, 1, 1, 0. Bất kỳ giá trị tích cực của $\beta$ sẽ tối đa hóa AUC (bất kể giá trị của $x$ ), nhưng chúng ta có thể chọn một $x$ đủ lớn để $\beta_{MLE} < 0$ .