Có thể sử dụng chức năng mất entropy chéo với nhãn mềm?

Tôi có một vấn đề phân loại trong đó pixel sẽ được dán nhãn bằng nhãn mềm (biểu thị xác suất) thay vì 0,1 nhãn cứng. Trước đó với nhãn 0,1 pixel cứng, chức năng mất entropy chéo (sigmoidCross entropyLossLayer từ Caffe) đã cho kết quả tốt. Có thể sử dụng lớp mất entropy chéo sigmoid (từ Caffe) cho vấn đề phân loại mềm này không?

Câu trả lời là có, nhưng bạn phải xác định nó đúng cách.

$p$$q$

$$H(p, q) = -\sum_y p(y) \log q(y)$$

$p$$q$$x_0$$y_0$

$$-\sum_y I\{y = y_0\} \log q(y \mid x_0) = -\log q(y_0 \mid x_0)$$

$I\{\cdot\}$

Trong trường hợp các nhãn 'mềm' như bạn đề cập, các nhãn không còn là bản sắc lớp nữa, mà là xác suất của hai lớp có thể. Do đó, bạn không thể sử dụng biểu thức chuẩn cho mất nhật ký. Nhưng, khái niệm entropy chéo vẫn được áp dụng. Trong thực tế, nó có vẻ tự nhiên hơn trong trường hợp này.

$y$$s(x)$$x$

$$p(y \mid x) = \left \{ \begin{array}{cl} s(x) & \text{If } y = 1 \\ 1-s(x) & \text{If } y = 0 \end{array} \right .$$

Trình phân loại cũng cung cấp một phân phối trên các lớp, cho đầu vào:

$$q(y \mid x) = \left \{ \begin{array}{cl} c(x) & \text{If } y = 1 \\ 1-c(x) & \text{If } y = 0 \end{array} \right .$$

$c(x)$$x$

$p$$q$$\{0, 1\}$

$$\begin{array}{ccl} H(p, q) & = & - p(y=0 \mid x) \log q(y=0 \mid x) - p(y=1 \mid x) \log q(y=1 \mid x)\\ & = & -(1-s(x)) \log (1-c(x)) - s(x) \log c(x) \end{array}$$

Đó là biểu thức cho một điểm dữ liệu quan sát duy nhất. Hàm mất sẽ là giá trị trung bình trên tất cả các điểm dữ liệu. Tất nhiên, điều này có thể được khái quát để phân loại đa lớp là tốt.