Làm thế nào để rút ra cách giải thích xác suất của AUC?

14

Tại sao khu vực dưới đường cong ROC có xác suất phân loại sẽ xếp hạng một trường hợp "dương" được chọn ngẫu nhiên (từ các dự đoán được truy xuất) cao hơn so với "dương" được chọn ngẫu nhiên (từ lớp dương ban đầu)? Làm thế nào để chứng minh tuyên bố này một cách toán học bằng cách sử dụng tích phân, đưa ra các CDF và PDF của các phân phối lớp tích cực và tiêu cực thực sự?

probability roc auc

— mff
nguồn

2

Tôi đã viết một bằng chứng rất cơ bản về điều này ở đây: madrury.github.io/jekyll/update/statistic/2017/06/21/ Kẻ

— Matthew Drury

10

Điều đầu tiên, chúng ta hãy cố gắng xác định khu vực dưới đường cong ROC chính thức. Một số giả định và định nghĩa:

Chúng tôi có một bộ phân loại xác suất tạo ra "điểm" s (x), trong đó x là các tính năng và s là hàm đơn điệu tăng chung của xác suất ước tính p (class = 1 | x).
$f_{k}(s)$ , với : = pdf của điểm số cho lớp k, với CDF $k = \{0, 1\}$ $F_{k}(s)$
Việc phân loại một quan sát mới thu được từ việc ép điểm s đến ngưỡng t

Hơn nữa, để thuận tiện cho toán học, hãy xem xét lớp dương (phát hiện sự kiện) k = 0 và âm k = 1. Trong cài đặt này, chúng ta có thể định nghĩa:

Nhớ lại (còn gọi là Độ nhạy, còn gọi là TPR) : (tỷ lệ các trường hợp dương tính được phân loại là dương tính) $F_{0}(t)$
Độ đặc hiệu (còn gọi là TNR) : (tỷ lệ các trường hợp tiêu cực được phân loại là âm tính) $1 - F_{1}(t)$
FPR (còn gọi là Rơi) : 1 - TNR = $F_{1}(t)$

Đường cong ROC sau đó là một âm mưu của so với . Đặt , chúng ta có thể chính thức xác định khu vực bên dưới đường cong ROC là: Thay đổi biến ( ): $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

Công thức này có thể dễ dàng được coi là xác suất để một thành viên được rút ngẫu nhiên của lớp 0 sẽ tạo ra điểm thấp hơn điểm của một thành viên được rút ngẫu nhiên của lớp 1.

Bằng chứng này được lấy từ: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— alebu
nguồn

5

Câu trả lời của @ alebu là tuyệt vời. Nhưng ký hiệu của nó là không chuẩn và sử dụng 0 cho lớp dương và 1 cho lớp âm. Dưới đây là kết quả cho ký hiệu chuẩn (0 cho lớp âm và 1 cho lớp dương):

Pdf và cdf của điểm cho lớp âm: và $f_0(s)$ $F_0(s)$

Pdf và cdf của điểm cho lớp tích cực: và $f_1(s)$ $F_1(s)$

FPR = $x(s) = 1-F_0(s)$

TPR = $y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

trong đó là viết tắt của ngưỡng. Người ta có thể áp dụng cách giải thích trong câu trả lời của @ alebu cho biểu thức cuối cùng. $\tau$

— Lôi Hoàng
nguồn

1

Cách tính AUC-ROC là vẽ đồ thị TPR và FPR làm ngưỡng, được thay đổi và tính diện tích dưới đường cong đó. Nhưng, tại sao khu vực này dưới đường cong giống như xác suất này? Hãy giả sử như sau: $\tau$

$A$ là phân phối điểm mà mô hình tạo ra cho các điểm dữ liệu thực sự thuộc lớp dương.
$B$ là phân phối điểm mà mô hình tạo ra cho các điểm dữ liệu thực sự thuộc lớp âm (chúng tôi muốn điểm này nằm ở bên trái của ). $A$
$\tau$ là ngưỡng cắt. Nếu một điểm dữ liệu nhận được điểm cao hơn điểm này, thì điểm đó được dự đoán là thuộc về lớp tích cực. Mặt khác, nó được dự đoán là thuộc lớp phủ định.

Lưu ý rằng TPR (thu hồi) được đưa ra bởi: và FPR (bụi phóng xạ) được đưa ra là: . $P(A>\tau)$ $P(B>\tau)$

Bây giờ, chúng ta vẽ TPR trên trục y và FPR trên trục x, vẽ đường cong cho nhiều khác nhau và tính diện tích dưới đường cong này ( ). $\tau$ $AUC$

Chúng tôi nhận được:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$ trong đó là FPR. Bây giờ, một cách để tính tích phân này là coi là thuộc phân phối đồng đều. Trong trường hợp đó, nó đơn giản trở thành kỳ vọng của .

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$ nếu chúng tôi xem xét .

x \sim U [0, 1)

$x \sim U[0,1)$

Bây giờ, ở đây chỉ là $x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$ Vì chúng tôi coi là từ một phân phối đồng đều,

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

Nhưng chúng ta biết từ nghịch đảo pháp luật mà đối với bất kỳ biến ngẫu nhiên , nếu sau đó . Điều này diễn ra sau khi lấy bất kỳ biến ngẫu nhiên nào và áp dụng CDF của chính nó vào nó dẫn đến thống nhất. $X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$ và điều này chỉ giữ cho thống nhất.

Sử dụng thực tế này trong phương trình (2) cho chúng ta:

τ (x) \sim B

$\tau(x) \sim B$

Thay thế điều này vào phương trình (1) chúng ta nhận được:

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

Nói cách khác, khu vực dưới đường cong là xác suất để một mẫu dương tính ngẫu nhiên sẽ có điểm cao hơn một mẫu âm tính ngẫu nhiên.

— ryu576
nguồn