So sánh hai mô hình khi các đường cong ROC giao nhau

Một biện pháp phổ biến được sử dụng để so sánh hai hoặc nhiều mô hình phân loại là sử dụng khu vực dưới đường cong ROC (AUC) như một cách để đánh giá gián tiếp hiệu suất của chúng. Trong trường hợp này, một mô hình có AUC lớn hơn thường được hiểu là hoạt động tốt hơn một mô hình có AUC nhỏ hơn. Nhưng, theo Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), khi cả hai đường cong giao nhau như vậy thì không còn hiệu lực. Tại sao nó như vậy?

Ví dụ, những gì người ta có thể xác định về các mô hình A, B và C dựa trên các đường cong ROC và AUC dưới đây?

Một ROC đường cong hình dung TPR và FPR cho tất cả có thể ngưỡng .

• Nếu bạn vẽ hai đường cong ROC 'A' và 'B' và chúng không giao nhau, thì một trong các phân loại của bạn rõ ràng hoạt động tốt hơn, bởi vì đối với tất cả các giá trị FPR có thể bạn sẽ có TPR cao hơn. Rõ ràng diện tích theo ROC cũng sẽ lớn hơn.

• Bây giờ, nếu chúng giao nhau, thì có một điểm mà FPR và TPR giống nhau cho cả hai đường cong 'A' và 'B' . Bạn không còn có thể nói rằng một đường cong ROC hoạt động tốt hơn, vì bây giờ nó phụ thuộc vào sự đánh đổi mà bạn thích. Bạn có muốn Thu hồi chính xác cao / thấp hoặc Chính xác thấp / Thu hồi cao ?

Ví dụ: Nếu một trình phân loại hoạt động tốt hơn nhiều trên FPR là 0,2, nhưng điều quan trọng là phải đạt được Recall cao , thì nó sẽ hoạt động tốt ở ngưỡng mà bạn không quan tâm.

Giới thiệu về các đường cong ROC trong biểu đồ của bạn: Bạn có thể dễ dàng nói rằng 'A' hoạt động tốt hơn nhiều, thậm chí không cần biết bạn muốn đạt được gì. Ngay khi đường cong màu tím đi qua những người khác, nó lại đi ngang qua họ. Có lẽ bạn không quan tâm đến phần nhỏ đó , trong đó 'B' và 'C' hoạt động tốt hơn một chút .

Trong biểu đồ sau, bạn thấy hai đường cong ROC, cũng giao nhau. Ở đây, bạn không thể biết cái nào tốt hơn khi chúng bổ sung cho nhau .

Thông báo, rằng vào cuối ngày, bạn đang quan tâm đến việc chọn một ngưỡng để phân loại của bạn và AUC chỉ mang đến cho bạn một ước tính của như thế nào một người mẫu họ diễn xuất chung .