Tại sao Bayes Classifier là phân loại lý tưởng?

11

Nó được coi là trường hợp lý tưởng trong đó cấu trúc xác suất nằm dưới các danh mục được biết một cách hoàn hảo.

Tại sao với trình phân loại Bayes, chúng tôi đạt được hiệu suất tốt nhất có thể đạt được?

Bằng chứng / giải thích chính thức cho điều này là gì? Vì chúng tôi luôn sử dụng trình phân loại Bayes làm điểm chuẩn để so sánh hiệu suất của tất cả các trình phân loại khác.

— Vatsal
nguồn

9

Tại sao với trình phân loại Bayes, chúng tôi đạt được hiệu suất tốt nhất có thể đạt được? Bằng chứng / giải thích chính thức cho điều này là gì?

Thông thường, tập dữ liệu $D$ được coi là bao gồm $n$ iid mẫu $x_i$ của phân phối tạo dữ liệu của bạn. Sau đó, bạn xây dựng một mô hình tiên đoán từ các dữ liệu đưa ra: cho một mẫu $x_i$ , bạn dự đoán lớp , trong khi các lớp học thực tế của mẫu là . $\hat{f}(x_i)$ $f(x_i)$

Tuy nhiên, về mặt lý thuyết, bạn có thể quyết định không chọn một mô hình cụ thể , nhưng thay vì xem xét tất cả các mô hình có thể cùng một lúc và kết hợp chúng bằng cách nào đó vào một lớn mô hình . $\hat{f}_\text{chosen}$ $\hat{f}$ $\hat F$

Tất nhiên, được cung cấp dữ liệu, nhiều mô- đun nhỏ hơn có thể không khả thi hoặc không phù hợp (ví dụ: các mô hình chỉ dự đoán một giá trị của mục tiêu, mặc dù có nhiều giá trị của mục tiêu trong tập dữ liệu $D$ của bạn ).

Trong mọi trường hợp, bạn muốn dự đoán giá trị đích của các mẫu mới, được rút ra từ cùng phân phối với $x_i$ s. Một biện pháp tốt $e$ của việc thực hiện các mô hình của bạn sẽ

e (model) = P [f (X) = model (X)],

$e(\text{model}) = P[f(X) = \text{model}(X)]\text{,}$ ví dụ, xác suất mà bạn dự đoán giá trị mục tiêu đúng đối với một mẫu ngẫu nhiên

X

$X$ .

Sử dụng công thức Bayes, bạn có thể tính toán, xác suất mà mẫu $x$ có giá trị đích $v$ , dựa trên dữ liệu $D$ :

P (v ∣ D) = \sum_{\hat{f}} P (v ∣ \hat{f}) P (\hat{f} ∣ D) .

$P(v\mid D) = \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$

$P(v\mid \hat{f})$ $0$ $1$ $\hat{f}$ $x$
$P(\hat{f}\mid D)$
$\hat{f}$

$P(v\mid D)$

$x$

\hat{v} = {argmax}_{v} \sum_{\hat{f}} P (v ∣ \hat{f}) P (\hat{f} ∣ D) .

$\hat{v} = \text{argmax}_v \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$

v

$v$

e (\hat{f})

$e(\hat{f})$

Vì chúng tôi luôn sử dụng trình phân loại Bayes làm điểm chuẩn để so sánh hiệu suất của tất cả các trình phân loại khác.

$P(v\mid D)$

— Antoine
nguồn

P (v | f)

$P(v|f)$

@RuiQi Tôi không nghĩ rằng có một thứ như trình phân loại Bayes. Tôi biết về trình phân loại Bayes ngây thơ và phân loại Bayes tối ưu.

— Antoine

P (v ∣ \hat{f})

$P(v\mid \hat{f})$

v

$v$

\hat{f}

$\hat{f}$

0

$C_T$ $C_P$

$X$ $X$ $x$

P (C_{T} = C_{P}) = \int_{all possible X} f (x) P (C_{T} = C_{P} | x) d x

$P(C_T=C_P) = \int_{\text{all possible $X$}} f(x)P(C_T=C_P|x) \text{d}x$

$f(x)$ $X$

$x$

$x$ $P(C_T=C_P|x)$ $x$

— Sextus Empiricus
nguồn