Tên của biểu đồ này cho thấy tỷ lệ dương tính giả và đúng là gì và nó được tạo ra như thế nào?

Hình ảnh dưới đây cho thấy một đường cong liên tục của tỷ lệ dương tính giả so với tỷ lệ dương thực sự:

Tuy nhiên, điều tôi không nhận được ngay lập tức là cách tính các mức giá này. Nếu một phương thức được áp dụng cho tập dữ liệu, nó có tỷ lệ FP nhất định và tỷ lệ FN nhất định. Điều đó không có nghĩa là mỗi phương thức nên có một điểm chứ không phải là một đường cong? Tất nhiên, có nhiều cách để định cấu hình một phương thức, tạo ra nhiều điểm khác nhau, nhưng đối với tôi không rõ ràng về mức độ liên tục của tỷ lệ này hoặc cách nó được tạo ra.

Biểu đồ là đường cong ROC và các điểm (Tỷ lệ dương sai, Tỷ lệ dương thực) được tính cho các ngưỡng khác nhau. Giả sử bạn có một hàm tiện ích thống nhất, giá trị ngưỡng tối ưu là giá trị cho điểm gần nhất với (0, 1).

Để tạo các đường cong ROC (= Đường cong đặc tính hoạt động của người nhận):

Giả sử chúng ta có một phân loại xác suất, nhị phân như hồi quy logistic. Trước khi trình bày đường cong ROC, phải hiểu khái niệm ma trận nhầm lẫn . Khi chúng tôi thực hiện dự đoán nhị phân, có thể có 4 loại lỗi:

• Chúng ta dự đoán 0 trong khi chúng ta nên có lớp thực sự là 0: đây được gọi là Phủ định thực , tức là chúng ta dự đoán chính xác rằng lớp đó là âm (0). Ví dụ, một chương trình chống vi-rút không phát hiện tệp vô hại là vi-rút.
• Chúng tôi dự đoán 0 trong khi chúng ta nên có lớp thực sự là 1: đây được gọi là Sai âm , tức là chúng ta dự đoán không chính xác rằng lớp đó là âm (0). Ví dụ, một chương trình chống vi-rút không phát hiện ra vi-rút.
• Chúng ta dự đoán 1 trong khi chúng ta nên có lớp thực sự là 0: đây được gọi là Sai dương , tức là chúng ta dự đoán không chính xác rằng lớp đó là dương (1). Ví dụ, một chương trình chống vi-rút coi một tệp vô hại là vi-rút.
• Chúng ta dự đoán 1 trong khi chúng ta nên có lớp thực sự là 1: đây được gọi là True thật , tức là chúng ta dự đoán chính xác rằng lớp đó là dương (1). Ví dụ, một chương trình chống vi-rút đã phát hiện đúng vi-rút.

Để có được ma trận nhầm lẫn, chúng tôi xem xét tất cả các dự đoán được đưa ra bởi mô hình và tính xem có bao nhiêu lần trong số 4 loại lỗi đó xảy ra:

Trong ví dụ này về ma trận nhầm lẫn, trong số 50 điểm dữ liệu được phân loại, 45 điểm được phân loại chính xác và 5 điểm được phân loại sai.

Vì để so sánh hai mô hình khác nhau, sẽ thuận tiện hơn khi có một số liệu đơn lẻ hơn là một số liệu, chúng tôi tính hai số liệu từ ma trận nhầm lẫn, sau này chúng tôi sẽ kết hợp thành một:

• $\frac{TP}{TP+FN}$
• $\frac{FP}{FP+TN}$

$0.00; 0.01, 0.02, \dots, 1.00$

Trong hình này, vùng màu xanh lam tương ứng với Vùng bên dưới đường cong của Đặc tính vận hành máy thu (AUROC). Đường đứt nét trong đường chéo chúng tôi trình bày đường cong ROC của một yếu tố dự đoán ngẫu nhiên: nó có AUROC là 0,5. Công cụ dự đoán ngẫu nhiên thường được sử dụng làm đường cơ sở để xem liệu mô hình có hữu ích hay không.

Nếu bạn muốn có được một số kinh nghiệm trực tiếp:

• Python: http://scikit-learn.org/urdy/auto_examples/model_selection/plot_roc.html
• MATLAB: http://www.mathworks.com/help/stats/perfcurve.html

Câu trả lời của Morten giải quyết chính xác câu hỏi trong tiêu đề - con số thực sự là một đường cong ROC. Nó được tạo ra bằng cách vẽ một chuỗi các tỷ lệ dương tính giả (FPR) so với tỷ lệ dương thực sự tương ứng của chúng.

Tuy nhiên, tôi muốn trả lời câu hỏi mà bạn hỏi trong bài viết của mình.

Nếu một phương thức được áp dụng cho tập dữ liệu, nó có tỷ lệ FP nhất định và tỷ lệ FN nhất định. Điều đó không có nghĩa là mỗi phương thức nên có một điểm chứ không phải là một đường cong? Tất nhiên, có nhiều cách để định cấu hình một phương thức, tạo ra nhiều điểm khác nhau, nhưng đối với tôi không rõ ràng về mức độ liên tục của tỷ lệ này hoặc cách nó được tạo ra.

Nhiều phương pháp học máy có các thông số điều chỉnh. Ví dụ, đầu ra của hồi quy logistic là xác suất dự đoán của thành viên lớp. Quy tắc quyết định để phân loại tất cả các điểm có xác suất dự đoán trên ngưỡng này đến một lớp và phần còn lại cho điểm khác, có thể tạo ra một phạm vi phân loại linh hoạt, mỗi điểm có thống kê TPR và FPR khác nhau. Điều tương tự cũng có thể được thực hiện trong trường hợp rừng ngẫu nhiên, trong đó người ta đang xem xét phiếu bầu của cây, hoặc SVM, nơi bạn đang xem xét khoảng cách đã ký từ siêu phẳng.

Trong trường hợp bạn đang thực hiện xác thực chéo để ước tính hiệu suất ngoài mẫu, thực tế điển hình là sử dụng các giá trị dự đoán (phiếu bầu, xác suất, khoảng cách đã ký) để tạo chuỗi TPR và FPR. Điều này thường trông giống như một hàm bước, bởi vì thông thường chỉ có một điểm chuyển từ TP sang FN hoặc FP sang FN, tại mỗi giá trị dự đoán (nghĩa là tất cả các giá trị dự đoán ngoài mẫu là duy nhất). Trong trường hợp này, mặc dù có các tùy chọn liên tục để tính toán TPR và FPR, các hàm TPR và FPR sẽ không liên tục vì chỉ có nhiều điểm không chính xác, do đó các đường cong kết quả sẽ có hình dạng giống như bước .

Từ Wikipedia:

Đường cong ROC lần đầu tiên được phát triển bởi các kỹ sư điện và kỹ sư radar trong Thế chiến II để phát hiện các vật thể của kẻ thù trong chiến trường và sớm được đưa vào tâm lý học để phát hiện các kích thích nhận thức. Phân tích ROC kể từ đó đã được sử dụng trong y học, X quang, sinh trắc học và các lĩnh vực khác trong nhiều thập kỷ và ngày càng được sử dụng nhiều trong nghiên cứu khai thác dữ liệu và học máy.

ROC còn được gọi là đường cong đặc tính vận hành tương đối, bởi vì nó là so sánh của hai đặc tính vận hành (TPR và FPR) khi tiêu chí thay đổi.

Bạn có thể nghĩ về hai trục là chi phí phải chịu để phân loại nhị phân hoạt động. Lý tưởng nhất là bạn muốn phát sinh tỷ lệ dương tính giả càng thấp càng tốt với tỷ lệ dương tính thật càng cao càng tốt. Đó là bạn muốn bộ phân loại nhị phân gọi càng ít số dương cho càng nhiều số dương càng tốt.

Để làm cho nó cụ thể hãy tưởng tượng một bộ phân loại có thể phát hiện xem một bệnh nào đó có mặt hay không bằng cách đo lượng sinh khối. Hãy tưởng tượng rằng dấu ấn sinh học có giá trị trong khoảng 0 (vắng mặt) đến 1 (bão hòa). Mức độ nào tối đa hóa phát hiện bệnh? Đây có thể là trường hợp trên một mức độ nào đó, dấu ấn sinh học sẽ phân loại một số người mắc bệnh nhưng họ không mắc bệnh. Đây là những dương tính giả. Tất nhiên sau đó có những người sẽ được phân loại là mắc bệnh khi họ thực sự mắc bệnh. Đây là những tích cực thực sự.

ROC đánh giá tỷ lệ dương tính thật của tất cả các dương tính so với tỷ lệ dương tính giả bằng cách tính đến tất cả các giá trị ngưỡng có thể.