Không thể tìm ra lớp nhúng tuyến tính trong mạng nơ ron tích chập?

Tôi có kiến trúc mạng từ bài báo "học tương tự hình ảnh hạt mịn với xếp hạng sâu" và tôi không thể tìm ra cách đầu ra từ ba mạng song song được hợp nhất bằng cách sử dụng lớp nhúng tuyến tính. Thông tin duy nhất được đưa ra trên lớp này, trong bài báo là

Cuối cùng, chúng tôi bình thường hóa các nhúng từ ba phần và kết hợp chúng với một lớp nhúng tuyến tính. Kích thước của nhúng là 4096.

Bất cứ ai có thể giúp tôi tìm ra chính xác những gì tác giả có nghĩa là khi ông đang nói về lớp này?

Lớp nhúng tuyến tính phải chỉ là một tên ưa thích cho một lớp dày đặc không có kích hoạt. 'Tuyến tính' có nghĩa là không có kích hoạt (kích hoạt là danh tính). Và nhúng là một khái niệm đại diện cho vectơ của dữ liệu đầu vào (ví dụ: nhúng từ). Tôi tin rằng các yếu tố từ vectơ thứ hai chỉ đơn giản được thêm vào yếu tố đầu tiên.

Nó được đề cập trong bài báo:

Một lớp chuẩn hóa cục bộ bình thường hóa bản đồ đặc trưng xung quanh một vùng lân cận cục bộ để có định mức đơn vị và giá trị trung bình bằng không. Nó dẫn đến các bản đồ đặc trưng mạnh mẽ cho sự khác biệt về độ chiếu sáng và độ tương phản.

Họ lấy từng phần của mô hình và bình thường hóa nó một cách riêng biệt.

Đối với việc kết hợp chúng, như bạn đã nhận xét, để nắm bắt các tính năng nổi bật nhất, với biểu diễn chưa hoàn chỉnh, không cần cho tính phi tuyến tính.