Tôi đã cố gắng tạo ra một chương trình đào tạo Mạng nơ-ron trên máy tính của mình. Đối với Mạng được đề cập, tôi đã quyết định sử dụng chức năng Lỗi Entropy chéo:
Trong đó là đầu ra đích của Neuron và là đầu ra của nơ ron đó, cố gắng dự đoán . j o j t j
Tôi muốn biết dành cho một số Neuron . Trực giác của tôi (cộng với kiến thức hạn chế về tính toán) khiến tôi tin rằng giá trị này phải là . j-tj
Tuy nhiên, điều này dường như không chính xác. Cross Entropy thường được sử dụng song song với chức năng softmax, sao cho trong đó z là tập hợp đầu vào cho tất cả các nơ-ron trong lớp softmax ( xem tại đây ).
Từ tệp này , tôi tập hợp rằng:
Theo câu hỏi này : Nhưng điều này mâu thuẫn với dự đoán trước đây của tôi về . Tại sao?δE