Hiểu biết về vịnh ngây thơ: tính toán các xác suất có điều kiện

Đối với một nhiệm vụ về phân tích tình cảm, giả sử chúng ta có một số lớp được đại diện bởi và các tính năng .$c$$i$

Chúng ta có thể biểu diễn xác suất có điều kiện của mỗi lớp là: trong đó đại diện cho mỗi tính năng và là lớp chúng ta có. Sau đó, theo kinh nghiệm, chúng ta có thể biểu diễn Các thầy tu của chúng ta cho mỗi lớp sau đó được đưa ra bởi: trong đó:

$$P(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)}$$ $w_i$$c$ $$P(w_i|c) = \frac{n_{ci}}{n_c}$$ $$P(w_i) = \frac{n_{i}}{n}$$ $$P(c) = \frac{n_c}{n}$$

$n$ là tổng số tính năng trong tất cả các lớp.

$n_{ci}$ đại diện cho số lượng tính năng của trong lớp .$i$$c$

$n_c$ là tổng số tính năng cho lớp và

$n_i$ là tổng số tính năng cho tất cả các lớp.

Sự hiểu biết của tôi về những điều trên có đúng không? Vì vậy, với các xác suất cho mỗi từ, tôi giả định rằng các từ này là độc lập, vì vậy tôi chỉ cần nhân mỗi từ trong một tài liệu cho một lớp nhất định, tức là để tính đó là số lượng từ trong tài liệu. Điều này có đúng không?$P(c|w_i)$$\prod P(c|w_i), i \in N$$N$

Để thực sự tính toán xác suất có điều kiện bằng số, nó có đủ để làm như sau không:

$$P(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)} = \frac{n_{ci}}{n_c} \cdot \frac{n_c}{n}\cdot \frac{n}{n_i} = \frac{n_{ci}}{n_i}$$

Phần cuối cùng của phương trình có vẻ hơi đáng ngờ đối với tôi vì nó có vẻ quá đơn giản để tính toán cho một xác suất khá phức tạp.

Công thức của bạn là chính xác cho một $w_i$, nhưng nếu bạn muốn phân loại tài liệu, bạn cần tính toán $P(c | w_1,\ldots,w_N)$.

Sau đó bạn có

$$P(c | w_1,\ldots,w_N) = \frac{P(c)\cdot P(w_1,\ldots,w_N|c)}{P(w_1,\ldots,w_N)} = \frac{P(c) \cdot \prod_{i=1}^N P(w_i|c)}{P(w_1,\ldots,w_N)} \neq \prod_{i=1}^NP(c|w_i)$$

trong đó phương trình thứ hai giữ vì giả định Bayes ngây thơ.

Đối với mục đích phân loại, bạn có thể bỏ qua $P(w_1,\ldots,w_N)$bởi vì nó là hằng số (cho dữ liệu). Công thức vẫn đơn giản ("ngây thơ") nhưng không đơn giản hóa nhiều như vậy.

Phần cuối cùng của phương trình có vẻ hơi đáng ngờ đối với tôi vì nó có vẻ quá đơn giản để tính toán cho một xác suất khá phức tạp.

Hãy nhớ rằng trong khi Naïve Bayes là một bộ phân loại hợp lý cho nhiều ứng dụng, thì xác suất được tạo ra thường không mang tính đại diện.