Khi nào bạn có xu hướng sử dụng các đường cong ROC trong một số thử nghiệm khác để xác định khả năng dự đoán của một số phép đo đối với kết quả?
Khi xử lý các kết quả rời rạc (còn sống / đã chết, hiện tại / vắng mặt), điều gì làm cho các đường cong ROC mạnh hơn hoặc kém hơn so với một cái gì đó như hình vuông chi?
Câu trả lời:
Hàm ROC (không nhất thiết phải là đường cong) cho phép bạn đánh giá khả năng phân biệt đối xử được cung cấp bởi một mô hình thống kê cụ thể (bao gồm một biến dự đoán hoặc một bộ của chúng).
Một xem xét chính của ROC là các dự đoán mô hình không chỉ xuất phát từ khả năng phân biệt / đưa ra dự đoán của mô hình dựa trên bằng chứng được cung cấp bởi các biến dự đoán. Ngoài ra hoạt động là một tiêu chí phản hồi xác định bao nhiêu bằng chứng cần thiết cho mô hình để dự đoán phản hồi và kết quả của những phản hồi này là gì. Giá trị được thiết lập cho các tiêu chí đáp ứng sẽ ảnh hưởng lớn đến các dự đoán mô hình và cuối cùng là loại sai lầm mà nó sẽ gây ra.
Xem xét một mô hình chung với các biến dự đoán và tiêu chí đáp ứng. Mô hình này đang cố gắng dự đoán sự hiện diện của X, bằng cách trả lời Có hoặc Không. Vì vậy, bạn có ma trận nhầm lẫn sau:
**X present X absent**
**Model Predicts X Present** Hit False Alarm
**Model Predicts X Absent** Miss Correct Rejection
Trong ma trận này, bạn chỉ cần xem xét tỷ lệ Số lần truy cập và Báo động sai (bởi vì các số khác có thể được bắt nguồn từ những số này, với điều kiện là chúng phải có một đến 1). Đối với mỗi tiêu chí phản hồi, bạn sẽ tạo ra một ma trận nhầm lẫn khác nhau. Các lỗi (Lỗi và Báo động sai) có liên quan tiêu cực, có nghĩa là một tiêu chí phản hồi giảm thiểu cảnh báo sai sẽ tối đa hóa các lỗi và ngược lại. Thông điệp là: không có bữa trưa miễn phí.
Vì vậy, để hiểu mô hình phân biệt các trường hợp / đưa ra dự đoán tốt như thế nào, độc lập với các tiêu chí phản hồi được thiết lập, bạn vẽ biểu đồ tỷ lệ Số lần truy cập và Sai được tạo ra trong phạm vi các tiêu chí phản hồi có thể có.
Những gì bạn nhận được từ âm mưu này là hàm ROC. Vùng bên dưới hàm cung cấp một thước đo không thiên vị và không tham số về khả năng phân biệt đối xử của mô hình. Biện pháp này rất quan trọng vì nó không có bất kỳ giới hạn nào có thể được tạo ra bởi các tiêu chí đáp ứng.
Một khía cạnh quan trọng thứ hai, là bằng cách phân tích chức năng, người ta có thể xác định tiêu chí đáp ứng nào tốt hơn cho mục tiêu của bạn. Những loại lỗi bạn muốn tránh và những lỗi nào là OK. Ví dụ, hãy xem xét xét nghiệm HIV: đây là xét nghiệm tìm kiếm một số loại bằng chứng (trong trường hợp này là kháng thể) và đưa ra phân biệt / dự đoán dựa trên việc so sánh bằng chứng với tiêu chí đáp ứng. Tiêu chí phản hồi này thường được đặt rất thấp, để bạn giảm thiểu các hoa hậu. Tất nhiên điều này sẽ dẫn đến nhiều Báo động sai, có chi phí, nhưng chi phí không đáng kể khi so sánh với các Hoa hậu.
Với ROC, bạn có thể đánh giá khả năng phân biệt đối xử của một số mô hình, độc lập với các tiêu chí phản hồi và cũng thiết lập các tiêu chí phản hồi tối ưu, dựa trên nhu cầu và các ràng buộc của bất cứ điều gì bạn đang đo. Các thử nghiệm như hình vuông hi không thể giúp được gì trong việc này vì ngay cả khi thử nghiệm của bạn nếu dự đoán ở mức cơ hội, nhiều cặp Báo động Hit-Sai khác nhau phù hợp với mức cơ hội.
Một số khung, như lý thuyết phát hiện tín hiệu, giả định rằng các bằng chứng có sẵn cho phân biệt đối xử có phân phối cụ thể (ví dụ: phân phối bình thường hoặc phân phối gamma). Khi các giả định này nắm giữ (hoặc khá gần), một số biện pháp thực sự tốt đẹp có sẵn giúp cuộc sống của bạn dễ dàng hơn.
hy vọng điều này sẽ giúp làm sáng tỏ bạn về những lợi thế của ROCs
Đường cong ROC được sử dụng khi bộ dự đoán liên tục và kết quả là rời rạc, do đó, một phép thử chi bình phương sẽ không được áp dụng. Trên thực tế, phân tích ROC theo một nghĩa nào đó tương đương với thử nghiệm Mann-Whitney: khu vực dưới đường cong là P (X> Y) là đại lượng được thử nghiệm bằng thử nghiệm MW. Tuy nhiên, phân tích Mann-Whitney không nhấn mạnh vào việc lựa chọn điểm cắt, trong khi đó là điểm chính của phân tích ROC. Ngoài ra, các đường cong ROC thường được sử dụng như một màn hình trực quan về khả năng dự đoán của hiệp phương sai.
Câu trả lời ngắn nhất là các thử nghiệm phát hiện tín hiệu truyền thống chỉ cung cấp cho bạn một điểm duy nhất trên ROC (đặc tính vận hành máy thu) trong khi đường cong cho phép bạn xem phản hồi thông qua một loạt các giá trị. Có thể các tiêu chí và d 'dịch chuyển khi một người dịch chuyển trong suốt đường cong. Nó giống như sự khác biệt giữa kiểm tra t được tạo bằng cách chọn hai lớp biến dự báo và hai đường hồi quy được tạo bằng cách xem xét các thao tác tham số của từng biến dự đoán.
Trong trường hợp bạn quan tâm đến các tài liệu tham khảo thêm, một danh sách các bài báo có sẵn trên trang web của KH Zou, Nghiên cứu Văn học Đặc trưng của Người nhận (ROC) .
Các đường cong ROC cũng được sử dụng khi người ta quan tâm đến việc so sánh hiệu suất phân loại khác nhau, với các ứng dụng rộng rãi trong nghiên cứu y sinh và tin sinh học.
Theo nhiều cách, các ROC là một sự chuyển hướng khỏi các công cụ suy luận và ước lượng chính cho các mô hình. Tôi không thể thấy nhiều giá trị ở đó.