Hiểu đường cong ROC

Tôi đang gặp khó khăn để hiểu đường cong ROC.

Có bất kỳ lợi thế / cải thiện nào trong khu vực dưới đường cong ROC không nếu tôi xây dựng các mô hình khác nhau từ mỗi tập hợp con duy nhất của tập huấn luyện và sử dụng nó để tạo xác suất? Ví dụ: nếu có các giá trị và tôi xây dựng mô hình bằng cách sử dụng từ các giá trị thứ 1 đến thứ 4 của và 8-9 của và xây dựng mô hình bằng cách sử dụng dữ liệu đào tạo vẫn còn. Cuối cùng, tạo xác suất. Bất kỳ suy nghĩ / ý kiến ​​sẽ được nhiều đánh giá cao.$y$$\{a, a, a, a, b, b, b, b\}$$A$$a$$y$$y$$B$

Đây là mã r để giải thích rõ hơn cho câu hỏi của tôi:

Y    = factor(0,0,0,0,1,1,1,1)
X    = matirx(rnorm(16,8,2))
ind  = c(1,4,8,9)
ind2 = -ind

mod_A    = rpart(Y[ind]~X[ind,])
mod_B    = rpart(Y[-ind]~X[-ind,])
mod_full = rpart(Y~X)

pred = numeric(8)
pred_combine[ind]  = predict(mod_A,type='prob')
pred_combine[-ind] = predict(mod_B,type='prob')
pred_full          = predict(mod_full, type='prob')

Vì vậy, câu hỏi của tôi là, diện tích dưới đường cong ROC của pred_combinevs pred_full.

Tôi không chắc mình đã nhận được câu hỏi, nhưng vì tiêu đề yêu cầu giải thích các đường cong ROC, tôi sẽ thử.

Các đường cong ROC được sử dụng để xem trình phân loại của bạn có thể phân tách các ví dụ tích cực và tiêu cực tốt như thế nào và để xác định ngưỡng tốt nhất để phân tách chúng.

Để có thể sử dụng đường cong ROC, bộ phân loại của bạn phải được xếp hạng - nghĩa là, nó có thể xếp hạng các ví dụ sao cho những thứ có thứ hạng cao hơn có khả năng tích cực hơn. Ví dụ, Logistic Regression đưa ra xác suất, đây là điểm bạn có thể sử dụng để xếp hạng.

Vẽ đường cong ROC

Đưa ra một tập dữ liệu và phân loại xếp hạng:

• sắp xếp các ví dụ kiểm tra theo điểm từ cao nhất đến thấp nhất
• bắt đầu bằng$(0, 0)$
• cho mỗi ví dụ theo thứ tự được sắp xếp $x$
  • nếu dương, di chuyển lên$x$$1/\text{pos}$
  • nếu âm, di chuyển sang phải$x$$1/\text{neg}$

trong đó và là các phân số của các ví dụ tích cực và tiêu cực.$\text{pos}$$\text{neg}$

Hình ảnh hoạt hình gif đẹp này sẽ minh họa quá trình này rõ ràng hơn

Trên biểu đồ này, -axis là tỷ lệ dương thực sự và -axis là tỷ lệ dương tính giả. Lưu ý đường chéo - đây là đường cơ sở, có thể thu được bằng một bộ phân loại ngẫu nhiên. Đường cong ROC của chúng tôi càng ở trên đường thì càng tốt.$y$$x$

Khu vực dưới ROC

Vùng bên dưới Đường cong ROC (bóng mờ) tự nhiên cho thấy đường cong từ đường cơ sở bao xa. Đối với đường cơ sở là 0,5 và đối với phân loại hoàn hảo, nó là 1.

Bạn có thể đọc thêm về AUC ROC trong câu hỏi này: AUC đại diện cho cái gì và nó là gì?

Chọn ngưỡng tốt nhất

Tôi sẽ phác thảo ngắn gọn quá trình chọn ngưỡng tốt nhất và có thể tìm thấy nhiều chi tiết hơn trong tài liệu tham khảo.

Để chọn ngưỡng tốt nhất, bạn xem từng điểm của đường cong ROC của mình dưới dạng phân loại riêng. Trình phân loại nhỏ này sử dụng điểm số mà điểm nhận được làm ranh giới giữa + và - (nghĩa là nó phân loại là + tất cả các điểm trên điểm hiện tại)

Tùy thuộc vào phần pos / neg trong tập dữ liệu của chúng tôi - song song với đường cơ sở trong trường hợp 50% / 50% - bạn xây dựng các dòng chính xác ISO và lấy độ chính xác cao nhất.

Đây là một hình ảnh minh họa điều đó và để biết thêm chi tiết tôi một lần nữa mời bạn tham khảo

Tài liệu tham khảo

• http://mlwiki.org/index.php/ROC_Analysis