Ví dụ về cách hoạt động của thủ thuật log-sum-exp trong Naive Bayes

Tôi đã đọc về thủ thuật log-sum-exp ở nhiều nơi (ví dụ ở đây và ở đây ) nhưng chưa bao giờ thấy một ví dụ về cách nó được áp dụng cụ thể cho trình phân loại Naive Bayes (ví dụ: với các tính năng riêng biệt và hai lớp)

Làm thế nào chính xác một người sẽ tránh được vấn đề tràn số bằng cách sử dụng thủ thuật này?

naive-bayes underflow

— Josh
nguồn

Có một số ví dụ về việc sử dụng nó ở đây, mặc dù không nhất thiết phải rõ ràng cho Bayes ngây thơ . Tuy nhiên, điều đó hầu như không quan trọng, vì ý tưởng về mánh khóe khá đơn giản và dễ thích nghi.

— Glen_b -Reinstate Monica

Vấn đề có nhiều khả năng bị tràn hơn là tràn.

— Henry

Tôi khuyên bạn nên thử tìm kiếm dưới dòng , sau đó cập nhật câu hỏi của bạn để giải quyết cụ thể hơn bất cứ điều gì chưa được đề cập.

— Glen_b -Reinstate Monica

Bạn cũng có thể làm rõ - đây là Bayes ngây thơ kiểu Bernoulli? cái gì khác có lẽ?

— Glen_b -Reinstate Monica

Xem ví dụ ở đây , ngay phía dưới (ngay trước 'Xem thêm' nơi họ lấy nhật ký; lũy thừa cả hai bên nhưng để RHS "nguyên trạng" (như exp của một tổng số nhật ký) sẽ là một ví dụ về nhật ký -sum-exp trick. Điều đó có cung cấp cho bạn đầy đủ thông tin liên quan đến việc sử dụng nó trong Naive Bayes để hỏi một câu hỏi cụ thể hơn không?

— Glen_b -Reinstate Monica

Trong

p (Y = C | x) = \frac{p (x | Y = C) p (Y = C)}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}

$p(Y=C|\mathbf{x}) = \frac{p(\mathbf{x}|Y=C)p(Y=C)}{~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k)}$

cả mẫu số và tử số đều có thể trở nên rất nhỏ, điển hình là vì có thể gần bằng 0 và chúng ta nhân nhiều số đó với nhau. Để ngăn chặn dòng chảy bên dưới, người ta có thể chỉ cần lấy nhật ký của tử số, nhưng người ta cần sử dụng thủ thuật log-sum-exp cho mẫu số. $p(x_i \vert C_k)$

Cụ thể hơn, để ngăn chặn dòng chảy:

Nếu chúng ta chỉ quan tâm đến việc biết lớp nào thì đầu vào rất có thể thuộc về quy tắc quyết định tối đa của posteriori (MAP), chúng ta không phải áp dụng thủ thuật log-sum-exp, vì chúng ta không phải tính toán mẫu số trong trường hợp đó. Đối với tử số, người ta có thể chỉ cần lấy nhật ký để ngăn chặn dòng chảy: . Cụ thể hơn: $(\hat{y})$ $(\mathbf{x}=x_1, \dots, x_n)$ $log \left( p(\mathbf{x}|Y=C)p(Y=C) \right)$

$\hat{y} = \underset{k \in {1, \dots, | C |}}{argmax} p (C_{k} | x_{1}, \dots, x_{n}) = \underset{k \in {1, \dots, | C |}}{argmax} p (C_{k}) \prod_{i = 1}^{n} p (x_{i} | C_{k})$ $\hat{y} = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}}p(C_k \vert x_1, \dots, x_n) = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k)$
mà trở thành sau khi lấy nhật ký:

\begin{aligned} \hat{y} & = \underset{k \in {1, \dots, | C |}}{argmax} \log (p (C_{k} | x_{1}, \dots, x_{n})) \\ = \underset{k \in {1, \dots, | C |}}{argmax} \log (p (C_{k}) \prod_{i = 1}^{n} p (x_{i} | C_{k})) \\ = \underset{k \in {1, \dots, | C |}}{argmax} (\log (p (C_{k})) + \sum_{i = 1}^{n} \log (p (x_{i} | C_{k}))) \end{aligned}

$\begin{align} \hat{y} &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( p(C_k \vert x_1, \dots, x_n) \right)\\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k) \right) \\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \left( \log \left( p(C_k) \right) + \ \displaystyle\sum_{i=1}^n \log \left(p(x_i \vert C_k) \right) \right) \end{align}$

Nếu chúng ta muốn tính xác suất lớp , chúng ta sẽ cần tính toán mẫu số: $p(Y=C|\mathbf{x})$

$\begin{aligned} \log (p (Y = C | x)) & = \log (\frac{p (x | Y = C) p (Y = C)}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}) \\ = \log (\underset{numerator}{\underset{⏟}{p (x | Y = C) p (Y = C)}}) - \log (\underset{denominator}{\underset{⏟}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}}) \end{aligned}$

Phần tử có thể bị tràn vì có thể rất nhỏ: đó là vấn đề tương tự như trong tử số, nhưng lần này chúng ta có một phép tính tổng bên trong logarit, điều này ngăn chúng ta chuyển đổi (có thể gần với 0) vào (âm và không gần với 0 nữa, vì ). Để khắc phục sự cố này, chúng ta có thể sử dụng thực tế là để có được: $\log \left( ~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)\\$ $p(x_i \vert C_k)$ $p(x_i \vert C_k)$ $\log \left(p(x_i \vert C_k) \right)$ $0 \leq p(x_i \vert C_k) \leq 1$ $p(x_i \vert C_k) = \exp \left( {\log \left(p(x_i \vert C_k) \right)} \right)$

$\log (\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})) = \log (\sum_{k = 1}^{| C |} \exp (\log (p (x | Y = C_{k}) p (Y = C_{k}))))$

Tại thời điểm đó, một vấn đề mới phát sinh: có thể khá tiêu cực, ngụ ý rằng có thể trở nên rất gần với 0, tức là dưới dòng. Đây là nơi chúng tôi sử dụng thủ thuật log-sum-exp : $\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$ $\exp \left( \log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right) \right)$

$\log \sum_{k} e^{a_{k}} = \log \sum_{k} e^{a_{k}} e^{A - A} = A + \log \sum_{k} e^{a_{k} - A}$

với:
- $a_k=\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$ ,
- $A = \underset{k \in \{1, \dots, |C|\}} \max a_k.$
Chúng ta có thể thấy rằng việc giới thiệu biến tránh dòng chảy bên dưới. Ví dụ: với , chúng tôi có: $A$ $k=2, a_1 = - 245, a_2 = - 255$
- $\exp \left(a_1\right) = \exp \left(- 245\right) =3.96143\times 10^{- 107}$
- $\exp \left(a_2\right) = \exp \left(- 255\right) =1.798486 \times 10^{-111}$
Sử dụng thủ thuật log-sum-exp, chúng tôi tránh được dòng , với : $A=\max ( -245, -255 )=-245$ $\begin{align}\log \sum_k e^{a_k} &= \log \sum_k e^{a_k}e^{A-A} \\&= A+ \log\sum_k e^{a_k -A}\\ &= -245+ \log\sum_k e^{a_k +245}\\&= -245+ \log \left(e^{-245 +245}+e^{-255 +245}\right) \\&=-245+ \log \left(e^{0}+e^{-10}\right) \end{align}$

Chúng tôi đã tránh được dòng chảy vì cách xa hơn hoặc . $e^{-10}$ $3.96143\times 10^{- 107}$ $1.798486 \times 10^{-111}$

— Franck Dernoncourt
nguồn

Giả sử chúng tôi muốn xác định cơ sở dữ liệu nào trong hai cơ sở có nhiều khả năng đã tạo ra một cụm từ (ví dụ: tiểu thuyết nào là cụm từ này có nhiều khả năng đến từ). Chúng ta có thể giả định tính độc lập của các từ có điều kiện trên cơ sở dữ liệu (giả định Naive Bayes).

Bây giờ hãy tìm liên kết thứ hai mà bạn đã đăng. Ở đó sẽ đại diện cho xác suất chung của việc quan sát câu đã cho một cơ sở dữ liệu và s sẽ đại diện cho xác suất quan sát từng từ trong câu. $a$ $e^{b_{t}}$

— Sid
nguồn