Nó có ý nghĩa gì đối với một tế bào thần kinh trong mạng lưới thần kinh được kích hoạt?

Tôi chỉ vấp phải khái niệm về sự bao phủ của tế bào thần kinh, đó là tỷ lệ của các tế bào thần kinh được kích hoạt và tổng số tế bào thần kinh trong một mạng lưới thần kinh. Nhưng nó có nghĩa gì đối với một tế bào thần kinh được "kích hoạt"? Tôi biết các chức năng kích hoạt là gì, nhưng việc kích hoạt có nghĩa là gì, ví dụ như trong trường hợp của ReLU hoặc chức năng sigmoid?

Một tế bào thần kinh được cho là kích hoạt khi đầu ra của nó lớn hơn một ngưỡng, thường là 0.

Ví dụ: khi a = w T x + b >

$$\begin{equation} y = Relu(a) > 0 \end{equation}$$ $$\begin{equation} a = w^Tx+b > 0 \end{equation}$$

Tương tự với sigmoid hoặc các chức năng kích hoạt khác.

Thuật ngữ "kích hoạt" chủ yếu được sử dụng khi nói về các chức năng kích hoạt chỉ xuất ra một giá trị (trừ 0) khi đầu vào cho chức năng kích hoạt lớn hơn một ngưỡng nhất định.

Đặc biệt khi thảo luận về ReLU, thuật ngữ "kích hoạt" có thể được sử dụng. ReLU sẽ được "kích hoạt" khi đầu ra của nó lớn hơn 0, cũng là khi đầu vào của nó lớn hơn 0.

Các hàm kích hoạt khác, như sigmoid, luôn trả về giá trị lớn hơn 0 và không có bất kỳ ngưỡng đặc biệt nào. Do đó, thuật ngữ "kích hoạt" ít có ý nghĩa ở đây.

Mặc dù chúng ta biết rất ít về chúng, các tế bào thần kinh trong não dường như cũng có thứ gì đó giống với chức năng kích hoạt với một loại "ngưỡng kích hoạt" nào đó.