Phân biệt Entropy chéo

Tôi đã cố gắng tạo ra một chương trình đào tạo Mạng nơ-ron trên máy tính của mình. Đối với Mạng được đề cập, tôi đã quyết định sử dụng chức năng Lỗi Entropy chéo:

E = - \sum_{j} t_{j} \ln o_{j}

$E = -\sum_jt_j\ln o_j$

Trong đó là đầu ra đích của Neuron và là đầu ra của nơ ron đó, cố gắng dự đoán . $t_j$ $j$ $o_j$ $t_j$

Tôi muốn biết dành cho một số Neuron . Trực giác của tôi (cộng với kiến thức hạn chế về tính toán) khiến tôi tin rằng giá trị này phải là . $\frac{\delta E}{\delta o_j}$ $j$ $-\frac{t_j}{o_j}$

Tuy nhiên, điều này dường như không chính xác. Cross Entropy thường được sử dụng song song với chức năng softmax, sao cho trong đó z là tập hợp đầu vào cho tất cả các nơ-ron trong lớp softmax ( xem tại đây ).

o_{j} = \frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}}

$o_j = \frac{e^{z_j}}{\sum_ke^{z_k}}$

Từ tệp này , tôi tập hợp rằng:

\frac{δ o_{j}}{δ z_{j}} = o_{j} (1 - o_{j})

$\frac{\delta o_j}{\delta z_j} = o_j(1 - o_j)$

Theo câu hỏi này : Nhưng điều này mâu thuẫn với dự đoán trước đây của tôi về . Tại sao?

\frac{δ E}{δ z_{j}} = t_{j} - o_{j}

$\frac{\delta E}{\delta z_j} = t_j - o_j$

\frac{δ E}{δ o_{j}}

$\frac{\delta E}{\delta o_j}$

\frac{δ E_{j}}{δ z_{j}} = \frac{δ E_{j}}{δ o_{j}} \frac{δ o_{j}}{δ z_{j}}

$\frac{\delta E_j}{\delta z_j}=\frac{\delta E_j}{\delta o_j}\frac{\delta o_j}{\delta z_j}$

\Rightarrow \frac{δ E_{j}}{δ o_{j}} = \frac{δ E_{j}}{δ z_{j}} \div \frac{δ o_{j}}{δ z_{j}}

$\Rightarrow\frac{\delta E_j}{\delta o_j}=\frac{\delta E_j}{\delta z_j}\div\frac{\delta o_j}{\delta z_j}$

= \frac{t_{j} - o_{j}}{o_{j} (1 - o_{j})}

$= \frac{t_j-o_j}{o_j(1-o_j)}$ mâu thuẫn trực tiếp với tôi trước đó giải pháp của Vậy giải pháp nào (nếu có) cho là chính xác, và tại sao?

- \frac{t_{j}}{o_{j}}

$-\frac{t_j}{o_j}$

\frac{δ E_{j}}{δ o_{j}}

$\frac{\delta E_j}{\delta o_j}$

— Geno Racklin Asher
nguồn

Bạn là đúng, nhưng nên khi , sử dụng các kết quả được đưa ra trong bài đăng, chúng tôi có khi nên tổng là $\frac{\partial E}{\partial o_j}$ $\frac{\partial E}{\partial z_j}$

\frac{\partial E}{\partial z_{j}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}$

i = j

$i=j$

\frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} = - \frac{t_{j}}{o_{j}} o_{j} (1 - o_{j}) = t_{j} o_{j} - t_{j}

$\frac{\partial E}{\partial o_j}\frac{\partial o_j}{\partial z_j}=-\frac{t_j}{o_j}o_j(1-o_j)=t_jo_j-t_j$

i \neq j

$i\neq j$

\frac{\partial o_{i}}{\partial z_{j}} = \frac{\partial \frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}}{\partial z_{j}} = - \frac{e^{z_{i}}}{(\sum_{k} e^{z_{k}})^{2}} e^{z_{j}} = - o_{i} o_{j}

$\frac{\partial o_i}{\partial z_j}=\frac{\partial \frac{e^{z_i}}{\sum_ke^{z_k}}}{\partial z_j}=-\frac{e^{z_i}}{(\sum_ke^{z_k})^2}e^{z_j}=-o_io_j$

\frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}} = - \frac{t_{i}}{o_{i}} (- o_{i} o_{j}) = t_{i} o_{j}

$\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=-\frac{t_i}{o_i}(-o_io_j)=t_io_j$

\frac{\partial E}{\partial z_{j}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}} = \sum_{i} t_{i} o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=\sum_it_io_j-t_j$ vì là một vectơ nóng, do đó cũng thấy câu hỏi này .

t

$t$

\sum_{i} t_{i} = 1

$\sum_it_i=1$

\frac{\partial E}{\partial z_{j}} = o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=o_j-t_j$

— không
nguồn