Nói cách khác, thay vì gặp vấn đề hai lớp, tôi đang xử lý 4 lớp và vẫn muốn đánh giá hiệu suất bằng AUC.
Câu trả lời:
Có vẻ như bạn đang tìm kiếm phân tích ROC đa lớp, đây là một loại tối ưu hóa đa mục tiêu được đề cập trong hướng dẫn tại ICML'04. Như trong một số vấn đề đa lớp, ý tưởng thường là tiến hành so sánh theo cặp (một lớp so với tất cả các lớp khác, một lớp so với lớp khác, xem (1) hoặc các yếu tố của học thống kê ), và có một gần đây giấy bởi Landgrebe và Duin về chủ đề đó, xấp xỉ ROC nhiều lớp bằng cách phân tích cặp , Pattern Recognition Letters 2007 28: 1747-1758. Bây giờ, với mục đích trực quan hóa, tôi đã thấy một số bài báo cách đây một thời gian, hầu hết chúng đều xoay quanh âm lượng dưới bề mặt ROC (VUS) hoặc sơ đồ Cobweb .
Tuy nhiên, tôi không biết nếu có tồn tại triển khai R của các phương thức này, mặc dù tôi nghĩ rằng stars()hàm này có thể được sử dụng cho biểu đồ mạng nhện. Tôi vừa chạy qua một hộp công cụ Matlab dường như cung cấp phân tích ROC đa lớp, PRSD Studio .
Các giấy tờ khác cũng có thể hữu ích khi bắt đầu đầu tiên cho trực quan hóa / tính toán:
Tài liệu tham khảo:
1. Allwein, EL, Schapire, RE và Ca sĩ, Y. (2000). Giảm đa giác thành nhị phân: Một cách tiếp cận thống nhất cho các phân loại lề. Tạp chí Nghiên cứu Máy học , 1 : 113 Từ141.
Gần đây tôi đã tìm thấy gói pROC này trong R, vẽ đồ thị ROC đa sắc bằng cách sử dụng kỹ thuật được chỉ định bởi Hand and Till (2001) . Bạn có thể sử dụng hàm multlass.roc.
Các câu trả lời ở đây khá đầy đủ, nhưng tôi vẫn muốn thêm 5 xu của mình. Trong câu hỏi này, bạn có thể tìm thấy một ví dụ về mã R để tạo ROC Curves bằng cách sử dụng One-Vs-All Approach và thư viện ROCR R.
Đây là cốt truyện từ câu trả lời đó:
Mặc dù toán học vượt xa tôi, bài viết đánh giá chung này có một số tài liệu tham khảo mà bạn có thể sẽ quan tâm, và có một mô tả ngắn gọn về đồ thị ROC nhiều lớp.
Giới thiệu về phân tích ROC của Tom Fawcett Mẫu nhận dạng mẫu Tập 27, Số 8, tháng 6 năm 2006, Trang 861-874
Liên kết đến pdf như được cung cấp bởi gd047- cảm ơn