Điều gì làm cho các thuật ngữ của mật độ dày đặc và tiếng Đức thưa thớt có nghĩa là gì trong bối cảnh của các mạng lưới thần kinh?

Các thuật ngữ "dày đặc" và "thưa thớt" có nghĩa là gì trong bối cảnh của các mạng lưới thần kinh (NN)? sự khác biệt giữa chúng là gì? Tại sao chúng được gọi như vậy?

Trong toán học, "thưa thớt" và "dày đặc" thường đề cập đến số phần tử 0 so với khác không trong một mảng (ví dụ: vectơ hoặc ma trận). Một mảng thưa thớt là một mảng chứa chủ yếu là số không và một vài mục khác không. Một mảng dày đặc chứa chủ yếu là không số không.

Không có ngưỡng cứng cho những gì được coi là thưa thớt; đó là một thuật ngữ lỏng lẻo, nhưng có thể được làm cụ thể hơn. Ví dụ, một vectơ là thưa thớt nếu nó chứa tối đa mục nhập khác không. Một cách khác để nói điều này là định mức của vectơ là .$k$$k$$\ell_0$$k$

Việc sử dụng các thuật ngữ này trong ngữ cảnh của các mạng thần kinh tương tự như việc sử dụng chúng trong các lĩnh vực khác. Trong ngữ cảnh của NN, những thứ có thể được mô tả là thưa thớt hoặc dày đặc bao gồm kích hoạt các đơn vị trong một lớp cụ thể , trọng lượng và dữ liệu . Người ta cũng có thể nói về "kết nối thưa thớt", trong đó đề cập đến tình huống chỉ có một tập hợp nhỏ các đơn vị được kết nối với nhau . Đây là một khái niệm tương tự với trọng lượng thưa thớt, bởi vì một kết nối với trọng lượng bằng không thực sự không được kết nối.

"Mảng thưa thớt" cũng có thể đề cập đến một loại các loại dữ liệu có hiệu quả để biểu diễn các mảng thưa thớt. Đây là một khái niệm trong lĩnh vực ngôn ngữ lập trình. Nó liên quan đến, nhưng khác biệt với khái niệm toán học.