Các định nghĩa khác nhau của hàm mất entropy chéo

12

Tôi bắt đầu học về các mạng nơ-ron với hướng dẫn chấm com nơ-ron thần kinh. Cụ thể trong chương 3 có một phần về hàm entropy chéo và định nghĩa mất entropy chéo là:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

Tuy nhiên, đọc phần giới thiệu Tensorflow , mất entropy chéo được định nghĩa là:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$ (khi sử dụng cùng các ký hiệu như trên)

Sau đó tìm kiếm xung quanh để tìm những gì đang diễn ra, tôi tìm thấy một tập hợp các ghi chú khác: ( https://cs231n.github.io/linear- classify / # softwaremax- classifier ) sử dụng một định nghĩa hoàn toàn khác về mất entropy chéo, mặc dù điều này thời gian cho một bộ phân loại softmax chứ không phải cho một mạng lưới thần kinh.

Ai đó có thể giải thích cho tôi những gì đang xảy ra ở đây? Tại sao có sự khác biệt btw. những gì mọi người định nghĩa mất entropy chéo là? Có phải chỉ có một số nguyên tắc bao trùm?

— Reginald
nguồn

Liên quan chặt chẽ: stats.stackexchange.com/questions/260505/ từ

— Sycorax nói Phục hồi Monica

18

Ba định nghĩa về cơ bản là giống nhau.

1) Giới thiệu Tensorflow ,

C = - \frac{1}{n} \sum_{x} \sum_{j} (y_{j} \ln a_{j}) .

$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$

2) Đối với phân loại nhị phân , nó trở thành và vì các ràng buộc và , nó có thể được viết lại thành giống như trong chương 3 . $j=2$

C = - \frac{1}{n} \sum_{x} (y_{1} \ln a_{1} + y_{2} \ln a_{2})

$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$

\sum_{j} a_{j} = 1

$\sum_ja_j=1$

\sum_{j} y_{j} = 1

$\sum_jy_j=1$

C = - \frac{1}{n} \sum_{x} (y_{1} \ln a_{1} + (1 - y_{1}) \ln (1 - a_{1}))

$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$

3) Hơn nữa, nếu là một vectơ nóng (thường là trường hợp cho nhãn phân loại) với là phần tử khác không, thì tổn thất entropy chéo của mẫu tương ứng là $y$ $y_k$

C_{x} = - \sum_{j} (y_{j} \ln a_{j}) = - (0 + 0 + . . . + y_{k} \ln a_{k}) = - \ln a_{k} .

$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$

Trong ghi chú cs231 , mất entropy chéo của một mẫu được đưa ra cùng với chuẩn hóa softmax là

C_{x} = - \ln (a_{k}) = - \ln (\frac{e^{f_{k}}}{\sum_{j} e^{f_{j}}}) .

$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$

— không
nguồn

0

Trong chương thứ ba , phương trình (63) là entropy chéo được áp dụng cho nhiều sigmoids (có thể không bằng 1) trong khi trong phần giới thiệu Tensoflow , entropy chéo được tính trên lớp đầu ra softmax.

Như được giải thích bởi dontloo cả hai công thức về cơ bản là tương đương cho hai lớp nhưng nó không phải là khi có nhiều hơn hai lớp được xem xét. Softmax có ý nghĩa đối với đa lớp với các lớp độc quyền ( nghĩa là khi chỉ có một nhãn cho mỗi mẫu, cho phép mã hóa một nhãn nóng) trong khi (nhiều) sigmoids có thể được sử dụng để mô tả một vấn đề đa nhãn (nghĩa là với các mẫu có thể dương tính cho một số lớp học).

Xem câu trả lời khác của dontloo là tốt.

— xiawi
nguồn