Làm mịn trong mô hình Naive Bayes

Công cụ dự đoán Naive Bayes đưa ra dự đoán của mình bằng công thức này:

P (Y = y | X = x) = α P (Y = y) \prod_{i} P (X_{i} = x_{i} | Y = y)

$P(Y=y|X=x) = \alpha P(Y=y)\prod_i P(X_i=x_i|Y=y)$

Trong đó là một yếu tố bình thường hóa. Điều này đòi hỏi phải ước tính các tham số từ dữ liệu. Nếu chúng ta làm điều này với -smoothing, thì chúng ta có được ước tính $\alpha$ $P(X_i=x_i|Y=y)$ $k$

\hat{P} (X_{Tôi} = = x_{Tôi} | Y = = y) = = \frac{# {X_{Tôi} = = x_{Tôi}, Y = = y} + k}{# {Y = = y} + n_{Tôi} k}

$\hat{P}(X_i=x_i|Y=y) = \frac{\#\{X_i=x_i,Y=y\} + k}{\#\{Y=y\}+n_ik}$

trong đó có giá trị có thể cho . Tôi ổn với điều này. Tuy nhiên, trước đây, chúng tôi có $n_i$ $X_i$

\hat{P} (Y = = y) = = \frac{# {Y = = y}}{N}

$\hat{P}(Y=y) = \frac{\#\{Y=y\}}{N}$

trong đó có ví dụ trong tập dữ liệu. Tại sao chúng ta cũng không làm mịn trước? Hay đúng hơn, chúng ta làm mịn trước? Nếu vậy, chúng ta chọn tham số làm mịn nào? Có vẻ hơi ngớ ngẩn khi chọn , vì chúng tôi đang thực hiện một phép tính khác. Có một sự đồng thuận? Hay nó không quá quan trọng? $N$ $k$

machine-learning probability-theory statistics

— Chris Taylor
nguồn

Lý do điển hình để làm mịn ở vị trí đầu tiên là xử lý các trường hợp trong đó . Nếu điều này không được thực hiện, chúng ta sẽ luôn nhận được bất cứ khi nào xảy ra. $\#\{X_i = x_i | Y = y\} = 0$ $P(Y=y|X=x) = 0$

Điều này xảy ra khi, ví dụ, phân loại tài liệu văn bản mà bạn gặp phải một từ không có trong dữ liệu đào tạo của bạn hoặc chỉ không xuất hiện trong một số lớp cụ thể.

Mặt khác, trong trường hợp xác suất trước của lớp, , tình huống này sẽ không xảy ra. Nếu nó làm điều này có nghĩa là bạn đang cố gán các đối tượng cho các lớp thậm chí không xuất hiện trong dữ liệu đào tạo. $P(Y = y)$

Ngoài ra, tôi chưa bao giờ gặp phải thuật ngữ -smoothing. Laplace hoặc làm mịn phụ gia là phổ biến hơn nhiều. $k$

— alto
nguồn

Lý do để làm mịn nói chung là để tránh làm quá dữ liệu. Trường hợp số đếm của một số lớp bằng 0 chỉ là một trường hợp cụ thể của overfit (điều đó xảy ra đặc biệt xấu). Bạn vẫn có thể muốn làm mịn các xác suất khi mọi lớp được quan sát. Tôi cho rằng tôi bị làm phiền bởi sự bất đối xứng rõ ràng - Làm mịn Laplace tương ứng với giả định rằng có thêm các quan sát trong tập dữ liệu của bạn. Tại sao bạn lại bỏ qua những quan sát khi lắp trước?

— Chris Taylor

Tôi có thể lập luận rằng sẽ không có ý nghĩa gì khi làm trơn lớp trước vì MLE cho có thể tốt hơn rất nhiều so với ước tính của . Nếu tôi có lý do để tin rằng ước tính lớp học của tôi bị sai lệch, tôi sẽ đặt sang một bộ xác thực và tự điều chỉnh các mục sư của lớp. Theo kinh nghiệm của tôi, quá mức có xu hướng ít gặp vấn đề với Bayes ngây thơ (trái ngược với đối tác phân biệt đối xử của nó, hồi quy logistic). Có lẽ bạn sẽ thích hoặc điều trị Bayes hơn ?

P (Y = y)

$P(Y = y)$

P (X_{i} = x_{i} | Y = y)

$P(X_i = x_i | Y = y)$

— alto

"tình huống này không nên xảy ra. Nếu nó xảy ra có nghĩa là bạn đang cố gán các đối tượng cho các lớp thậm chí không xuất hiện trong dữ liệu đào tạo". Uhh ... làm thế nào một bộ phân loại sẽ gán một đối tượng cho một lớp mà nó chưa từng thấy trước đây (nghĩa là không có trong dữ liệu đào tạo)?

— Jemenake

@Jemenake Vấn đề thường được gọi là học tập Zero-shot, ví dụ như xem Zero-Shot Learning với Mã đầu ra ngữ nghĩa

— alto

Khi chúng ta huấn luyện mô hình bằng cách sử dụng tập dữ liệu huấn luyện, chúng ta có thể xây dựng một vocab bằng cách sử dụng các từ xuất hiện trong tập dữ liệu huấn luyện, vậy tại sao không loại bỏ các từ mới không có trong vocab khi đưa ra dự đoán về tập kiểm tra?

— bơ