Giới thiệu nền

Trong một mạng nơ ron tích chập, chúng ta thường có một cấu trúc / luồng chung trông như thế này:

1. hình ảnh đầu vào (tức là một vectơ 2D x)

(Lớp kết hợp đầu tiên (Conv1) bắt đầu tại đây ...)

2. kết hợp một bộ các bộ lọc ( w1) dọc theo hình ảnh 2D (nghĩa là z1 = w1*x + b1nhân các sản phẩm chấm), trong đó z1là 3D và b1là các thiên vị.
3. áp dụng chức năng kích hoạt (ví dụ ReLu) để tạo z1phi tuyến tính (ví dụ a1 = ReLu(z1)), trong đó a1là 3D.

(Lớp kết hợp thứ 2 (Conv2) bắt đầu từ đây ...)

4. kết hợp một bộ các bộ lọc dọc theo các kích hoạt mới được tính toán (nghĩa là z2 = w2*a1 + b2nhân các sản phẩm chấm), trong đó z2là 3D và b2là các thiên vị.
5. áp dụng chức năng kích hoạt (ví dụ ReLu) để tạo z2phi tuyến tính (ví dụ a2 = ReLu(z2)), trong đó a2là 3D.

 Câu hỏi

Định nghĩa của thuật ngữ "bản đồ đặc trưng" dường như thay đổi từ văn học sang văn học. Cụ thể:

• Đối với lớp chập thứ nhất, "bản đồ đặc trưng" có tương ứng với vectơ đầu vào x, hoặc sản phẩm chấm đầu ra z1, hoặc kích hoạt đầu ra a1hoặc "quá trình" chuyển đổi xthành a1, hoặc một cái gì khác không?
• Tương tự, đối với lớp chập thứ 2, "bản đồ đặc trưng" có tương ứng với các kích hoạt đầu vào a1, hoặc sản phẩm chấm đầu ra z2, hoặc kích hoạt đầu ra a2, hoặc "quá trình" chuyển đổi a1thành a2, hoặc một cái gì khác không?

Ngoài ra, có đúng là thuật ngữ "bản đồ đặc trưng" hoàn toàn giống với "bản đồ kích hoạt" không? (hoặc họ thực sự có nghĩa là hai điều khác nhau?)

 Tham khảo thêm:

Đoạn trích từ Mạng lưới thần kinh và Học sâu - Chương 6 :

* Danh pháp đang được sử dụng một cách lỏng lẻo ở đây. Cụ thể, tôi đang sử dụng "bản đồ đặc trưng" để có nghĩa không phải là chức năng được tính toán bởi lớp chập, mà là kích hoạt đầu ra của các nơ-ron ẩn từ lớp. Loại lạm dụng danh pháp nhẹ này là khá phổ biến trong các tài liệu nghiên cứu.

Đoạn trích từ trực quan hóa và hiểu các mạng kết hợp của Matt Zeiler :

Trong bài báo này, chúng tôi giới thiệu một kỹ thuật trực quan cho thấy các kích thích đầu vào kích thích các bản đồ đặc trưng riêng lẻ ở bất kỳ lớp nào trong mô hình. [...] Ngược lại, cách tiếp cận của chúng tôi cung cấp một cái nhìn không tham số về tính bất biến, cho thấy các mẫu từ tập huấn luyện kích hoạt bản đồ tính năng. [...] một hoạt động tương phản cục bộ giúp bình thường hóa các phản hồi trên các bản đồ tính năng. [...] Để kiểm tra một kích hoạt mạng lưới đã cho, chúng tôi đặt tất cả các kích hoạt khác trong lớp thành 0 và chuyển các ánh xạ tính năng làm đầu vào cho lớp deconvnet đính kèm. [...] Mạng lưới sử dụng phi tuyến tính, điều chỉnh các bản đồ đặc trưng, ​​do đó đảm bảo các bản đồ tính năng luôn dương. [...] Mạng lưới sử dụng các bộ lọc đã học để kết hợp các bản đồ tính năng từ lớp trước. [...] Hình 6, những hình ảnh này là các biểu diễn chính xác của mẫu đầu vào kích thích sơ đồ tính năng đã cho trong mô hình [...] khi các phần của hình ảnh đầu vào ban đầu tương ứng với mẫu bị che khuất, chúng tôi thấy hoạt động giảm rõ rệt trong bản đồ tính năng. [...]

Lưu ý: cũng giới thiệu thuật ngữ "bản đồ đặc trưng" và "bản đồ tính năng được chỉnh sửa" trong Hình 1.

Đoạn trích từ Chương Stanford CS231n trên CNN :

[...] Một cạm bẫy nguy hiểm có thể dễ dàng nhận thấy với hình dung này là một số bản đồ kích hoạt có thể bằng 0 đối với nhiều đầu vào khác nhau, có thể chỉ ra các bộ lọc chết và có thể là triệu chứng của tỷ lệ học tập cao [...] Các kích hoạt trông điển hình trên lớp CONV đầu tiên (trái) và lớp CONV thứ 5 (phải) của AlexNet được đào tạo nhìn vào hình ảnh của một con mèo. Mỗi hộp hiển thị một bản đồ kích hoạt tương ứng với một số bộ lọc. Lưu ý rằng các kích hoạt rất thưa thớt (hầu hết các giá trị đều bằng 0, trong hình ảnh này được hiển thị bằng màu đen) và chủ yếu là cục bộ.

Đoạn trích từ A-Begin's-Guide-To-Hiểu-Convolutional-Neural-Networks

[...] Mỗi vị trí duy nhất trên khối lượng đầu vào sẽ tạo ra một số. Sau khi trượt bộ lọc trên tất cả các vị trí, bạn sẽ thấy rằng những gì bạn còn lại là một dãy số 28 x 28 x 1, chúng tôi gọi là bản đồ kích hoạt hoặc bản đồ đặc trưng.

Bản đồ tính năng, hoặc bản đồ kích hoạt, là kích hoạt đầu ra cho một bộ lọc nhất định (a1 trong trường hợp của bạn) và định nghĩa là giống nhau bất kể bạn đang ở lớp nào.

Bản đồ tính năng và bản đồ kích hoạt có nghĩa chính xác cùng một điều. Nó được gọi là bản đồ kích hoạt vì nó là ánh xạ tương ứng với việc kích hoạt các phần khác nhau của hình ảnh và cũng là bản đồ đặc trưng bởi vì nó cũng là ánh xạ nơi tìm thấy một loại tính năng nhất định trong hình ảnh. Kích hoạt cao có nghĩa là một tính năng nhất định đã được tìm thấy.

"Bản đồ tính năng được chỉnh sửa" chỉ là bản đồ đặc trưng được tạo bằng Relu. Bạn có thể thấy thuật ngữ "bản đồ đặc trưng" được sử dụng cho kết quả của các sản phẩm chấm (z1) vì đây thực sự là bản đồ chứa các tính năng nhất định trong hình ảnh, nhưng điều đó không phổ biến để xem.

trước khi nói về ý nghĩa của bản đồ đặc trưng, ​​hãy xác định thuật ngữ của vectơ đặc trưng.

vector tính năng là đại diện véc tơ của các đối tượng. Ví dụ, một chiếc xe có thể được đại diện bởi [số lượng bánh xe, cửa. cửa sổ, tuổi ..v.v].

bản đồ đặc trưng là một hàm lấy các vectơ đặc trưng trong một không gian và biến chúng thành các vectơ đặc trưng trong một không gian khác. Ví dụ: được cung cấp một vectơ đặc trưng [khối lượng, trọng lượng, chiều cao, chiều rộng], nó có thể trả về [1, khối lượng / trọng lượng, chiều cao * chiều rộng] hoặc [chiều cao * chiều rộng] hoặc thậm chí chỉ là [âm lượng]