Hàm chi phí chéo entropy trong mạng nơ ron

Tôi đang xem hàm chi phí entropy chéo được tìm thấy trong hướng dẫn này :

$$C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$$

Chính xác thì chúng ta đang tổng kết những gì? Đó là, tất nhiên, trên , nhưng và không thay đổi với . Tất cả các là đầu vào của một . thậm chí được định nghĩa trong đoạn văn trên phương trình là hàm của tổng của tất cả các và 's. $x$$y$$a$$x$$x$$a$$a$$w$$x$

Ngoài ra, được định nghĩa là số lượng đầu vào vào tế bào thần kinh cụ thể này, đúng không? Nó được gọi là "tổng số mục dữ liệu đào tạo" .$n$

---

Biên tập:

Tôi có đúng không khi nghĩ rằng

$$C= -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$$

sẽ là hàm chi phí cho toàn bộ mạng, trong khi

$$C = [y \ln a+(1−y)\ln(1−a)]$$

sẽ là chi phí cho các tế bào thần kinh cá nhân? Không nên tổng số trên mỗi nơ ron đầu ra?

Đây là cách tôi thể hiện sự mất entropy chéo :

$$\mathcal{L}(X, Y) = -\frac{1}{n} \sum_{i=1}^n y^{(i)} \ln a(x^{(i)}) + \left(1 - y^{(i)}\right) \ln \left(1 - a(x^{(i)})\right)$$

Ở đây, là tập hợp các ví dụ đầu vào trong tập dữ liệu huấn luyện và là bộ nhãn tương ứng cho các ví dụ đầu vào đó. Các đại diện cho đầu ra của mạng nơron đầu vào cho .$X = \left\{x^{(1)},\dots,x^{(n)}\right\}$$Y=\left\{y^{(1)},\dots,y^{(n)} \right\}$$a(x)$$x$

Mỗi là 0 hoặc 1 và kích hoạt đầu ra thường được giới hạn trong khoảng mở (0, 1) bằng cách sử dụng một sigmoid logistic . Ví dụ: đối với mạng một lớp (tương đương với hồi quy logistic), kích hoạt sẽ được cung cấp bởi trong đó là a ma trận trọng số và là một vectơ sai lệch. Đối với nhiều lớp, bạn có thể mở rộng chức năng kích hoạt thành một cái gì đó như trong đó và là ma trận trọng số và độ lệch cho lớp đầu tiên và$y^{(i)}$$a(x)$

$$a(x) = \frac{1}{1 + e^{-Wx-b}}$$ $W$$b$ $$a(x) = \frac{1}{1 + e^{-Wz(x)-b}} \\ z(x) = \frac{1}{1 + e^{-Vx-c}}$$ $V$$c$$z(x)$ là sự kích hoạt của lớp ẩn trong mạng.

Tôi đã sử dụng siêu ký tự (i) để biểu thị các ví dụ vì tôi thấy nó khá hiệu quả trong khóa học máy của Andrew Ng; đôi khi mọi người thể hiện các ví dụ dưới dạng cột hoặc hàng trong một ma trận, nhưng ý tưởng vẫn giống nhau.

Chính xác thì chúng ta đang tổng kết những gì?

Hướng dẫn thực sự khá rõ ràng:

... là tổng số mục của dữ liệu đào tạo, tổng số trên tất cả các đầu vào đào tạo ...$n$

Hàm chi phí nơ-ron đơn ban đầu được đưa ra trong hướng dẫn (Eqn. 57) cũng có một chỉ số dưới được cho là gợi ý về điều này. Đối với trường hợp nơ-ron đơn lẻ, không có gì khác để tổng hợp ngoài các ví dụ đào tạo, vì chúng tôi đã tổng hợp tất cả các trọng số đầu vào khi tính toán :$x$$\Sigma$$a$

$$a = \sum_{j} w_jx_j.$$

---

Sau đó, trong cùng một hướng dẫn, Nielsen đưa ra biểu thức cho hàm chi phí cho mạng nhiều nơ-ron đa lớp (Eqn. 63):

$$C = -\frac{1}{n}\sum_{x}\sum_{j}[ y_j \ln a^{L}_{j} + (1 - y_j) \ln (1 - a^{L}_{j})].$$

Trong trường hợp này, tổng chạy qua cả các ví dụ đào tạo ( 's) và các nơ-ron riêng lẻ trong lớp đầu ra ( ' s).$x$$j$