AUC trong hồi quy logistic thường

Tôi đang sử dụng 2 loại hồi quy logistic - một là loại đơn giản, để phân loại nhị phân và loại còn lại là hồi quy logistic thông thường. Để tính toán độ chính xác của lần đầu tiên, tôi đã sử dụng xác nhận chéo, trong đó tôi đã tính AUC cho mỗi lần gấp và hơn là tính AUC trung bình. Làm thế nào tôi có thể làm điều đó cho hồi quy logistic thường? Tôi đã nghe nói về ROC tổng quát cho các dự đoán đa lớp, nhưng tôi không chắc cách tính nó.

Cảm ơn!

— Noam Peled
nguồn

không phải AUC nhưng có liên quan: trên các đường cong thu hồi chính xác vi mô / vĩ mô tại stats.stackexchange.com/questions/21551/iêu

— Yevgeny

Câu trả lời:

Tôi chỉ thích khu vực dưới đường cong ROC ( -index) bởi vì nó là một xác suất phù hợp. là một khối xây dựng của các hệ số tương quan xếp hạng. Ví dụ: Bolog ' . Đối với thứ tự , là một thước đo tuyệt vời của phân biệt dự đoán và gói R cung cấp các cách dễ dàng để có được các ước tính sửa lỗi quá mức của bootstrap của . Bạn có thể sao lưu cho một -index tổng quát (AUROC tổng quát). Có nhiều lý do không phải xem xét từng cấp riêng vì đây không khai thác bản chất thứ tự của . $c$ $c$ $D_{xy} = 2\times (c - \frac{1}{2})$ $Y$ $D_{xy}$ rms $D_{xy}$ $c$ $Y$ $Y$

Trong rmsđó có hai hàm cho hồi quy thứ tự: lrmvà orm, hàm sau xử lý liên tục và cung cấp nhiều họ phân phối (hàm liên kết) hơn tỷ lệ cược tỷ lệ. $Y$

— Frank Mitchell
nguồn

Vấn đề chính sẽ là làm thế nào để rms tính toán được sử dụng trong của Sommer ?

c - i n d e x

$c-index$

D_{x y}

$D_{xy}$

— Chamberlain Foncha

Nó được đánh vần là của Somer . -index tổng quát được tính đơn giản bằng cách đảo ngược phương trình tôi liệt kê ở trên. Nội bộ, tất cả các kết hợp quan sát có thể có các giá trị khác nhau đều được kiểm tra và tỷ lệ các cặp như vậy có dự đoán theo cùng một thứ tự là ước tính xác suất phù hợp. Tôi đã nói sai một điều: Hàm sử dụng của Spearman thay vì .

c

$c$

Y

$Y$ orm

ρ

$\rho$

D_{x y}

$D_{xy}$

— Frank Harrell

Cảm ơn đã sửa lỗi chính tả. Trong hồi quy thứ tự, sẽ thú vị hơn nhiều khi không chỉ nhìn vào thứ tự cặp như được thực hiện trong hàm orm mà bạn đã đề cập, mà còn xem xét thứ tự nhất quán (với các toán tử ternary hoặc cao hơn) tùy thuộc vào số lượng lớp bạn có. Tóm lại những gì tôi đang nói là: với một hồi quy logistic tích lũy được trang bị chẳng hạn, việc sắp xếp các lớp được quan tâm trong mô hình. Một biện pháp dự đoán cũng không thể thực hiện so sánh cặp mà so sánh mẫu $ P (pre_1 <pre_2 <pre_3 | obs_1 <obs_2 <o

P (p r e d_{1} < p r e d_{2} | o b s_{1} < o b s_{2})

$P(pred_1<pred_2|obs_1<obs_2)$

— Chamberlain Foncha

Không biết về các biện pháp như vậy, phản ứng đầu tiên của tôi là họ đang đặt một thanh cao để vượt rào.

— Frank Harrell

AUC cho hồi quy thứ tự là một cái gì đó khó khăn. Bạn có thể muốn tính AUC cho mỗi lớp bằng cách tạo các giá trị giả để lấy giá trị 1 cho lớp bạn đang tính AUC và 0 cho các lớp còn lại. Nếu bạn có 4 lớp thì bạn sẽ tạo 4 AUC và vẽ chúng trên cùng một biểu đồ. Vấn đề chính của phương pháp này là thực tế là nó phạt phân loại sai như nhau. Trực giác hơn nhiều - việc phân loại một lớp 1 vào lớp 3 sẽ tệ hơn so với việc bỏ lỡ lớp 1 vào lớp 2.

— Chamberlain Foncha
nguồn