Tại sao có một khuỷu tay sắc nét trong các đường cong ROC của tôi?

8

Tôi có một số bộ dữ liệu EEG mà tôi đang kiểm tra đối với hai lớp. Tôi có thể nhận được tỷ lệ lỗi khá cao từ LDA (phân phối có điều kiện lớp không phải là Gaussian, nhưng có đuôi tương tự và phân tách đủ tốt), vì vậy tôi muốn vẽ ROC của công cụ dự đoán LDA dựa trên các tập dữ liệu từ các đối tượng khác.

Dưới đây là một biểu đồ điển hình cho người dự đoán được thử nghiệm trong một thử nghiệm duy nhất: nhập mô tả hình ảnh ở đây

Tôi đã thử một vài gói khác nhau (pROC và ROCR), và kết quả là phù hợp. Câu hỏi của tôi là, những gì với khuỷu tay sắc nét? Có phải nó chỉ là một tạo tác của phép chiếu do LDA tạo ra, tức là, có một "vách đá" nơi hiệu suất phân loại giảm mạnh?

r roc discriminant-analysis

— ngôi sao sáng
nguồn

4

Một "đường cong" ROC hoàn hảo sẽ được tạo hình với một đường cong sắc nét. Hiệu suất bạn có là rất gần sự tách biệt hoàn hảo. Ngoài ra, có vẻ như bạn có sự khan hiếm các điểm làm cho đường cong.

— John
nguồn

Vâng, mỗi trong số này chỉ có khoảng 7500 mẫu thời gian trong 14 chiều (không gian không được cung cấp). Điều đó nói rằng, nếu tôi có một loạt các thử nghiệm từ các đối tượng khác nhau, liệu tiếng ồn cuối cùng có làm dịu đường cong xung quanh điểm uốn không?

— ngôi sao sáng

Khi bạn nói "mỗi thứ này" tôi không biết ý của bạn là gì. Không rõ có bao nhiêu điểm thực sự tạo nên đường cong. Vâng, có lẽ nó sẽ cong nếu có sự thay đổi giữa các đối tượng nhưng nếu không có thì nó sẽ không. Có thể bạn gặp vấn đề về mã hóa dữ liệu hoặc bạn chỉ thực sự vẽ một vài mẫu nhưng không thể biết được những gì bạn đã đăng.

— John

Xin lỗi, tôi có nghĩa là từng chuỗi thời gian cá nhân (thử nghiệm thử nghiệm). Có khá nhiều sự thay đổi giữa các đối tượng, nhưng ROC kết quả cho mỗi thử nghiệm của một người dự đoán duy nhất trong một thử nghiệm có một góc nhọn như hình trên, chỉ nằm ở một vị trí hơi khác. Tôi đã kiểm tra lại kích thước của bộ dự đoán và phản hồi đầu vào của tôi với lệnh roc (); cả hai đều có chiều dài 7500 nhãn lớp.

— ngôi sao sáng

6

Mặc dù câu hỏi này đã được hỏi khoảng 3 năm trước, nhưng tôi thấy thật hữu ích khi trả lời nó ở đây sau khi bắt gặp nó và bị bối rối bởi nó một thời gian. Khi đầu ra sự thật mặt đất của bạn là 0,1 và dự đoán của bạn là 0,1, bạn sẽ có được một khuỷu tay hình góc. Nếu dự đoán hoặc sự thật mặt đất của bạn là giá trị độ tin cậy hoặc xác suất (giả sử trong phạm vi [0,1]), thì bạn sẽ có khuỷu tay cong.

— người dùng3545810
nguồn

5

Tôi đồng ý với John, trong đó đường cong sắc nét là do sự khan hiếm điểm. Cụ thể, có vẻ như bạn đã sử dụng các dự đoán nhị phân của mô hình của mình (tức là 1/0) và các nhãn được quan sát (tức là 1/0). Bởi vì điều này, bạn có 3 điểm, một giả định là cắt Inf, một giả định là 0 và cuối cùng giả định là 1 điểm được đưa ra bởi TPR và FPR của mô hình của bạn và nằm ở góc nhọn trong biểu đồ của bạn.

Thay vào đó, bạn nên sử dụng xác suất của lớp dự đoán (giá trị từ 0 đến 1) và các nhãn được quan sát (tức là 1/0). Điều này sau đó sẽ cung cấp cho bạn một số điểm trên biểu đồ bằng với số xác suất duy nhất bạn có (cộng với một điểm cho Inf). Vì vậy, nếu bạn có 100 xác suất duy nhất, thì bạn sẽ có 101 điểm trên biểu đồ cho mỗi lần cắt khác nhau.

— Tyler
nguồn

Đáng buồn thay, tôi không nhớ tôi đã sử dụng phép tính hoặc dữ liệu cụ thể nào, vì vậy tôi không thể quay lại. Nghe có vẻ như lời khuyên tuyệt vời tuy nhiên.

— ngôi sao sáng