Lĩnh vực tiếp nhận tế bào thần kinh trong LeNet

9

Tôi đang cố gắng để hiểu các lĩnh vực tiếp nhận của CNN tốt hơn. Để làm điều đó tôi muốn tính toán trường tiếp nhận của từng nơron trong LeNet. Đối với MLP bình thường, việc này khá dễ dàng (xem http://deeplearning.net/tutorial/lenet.html#spude-connectivity ), nhưng việc tính toán trường tiếp nhận của nơron trong một lớp theo một hoặc nhiều lớp chập và khó khăn hơn lớp tổng hợp.

Trường tiếp nhận của một tế bào thần kinh trong lớp 2. chập là gì? Nó lớn hơn bao nhiêu trong lớp mẫu phụ / gộp sau đây? Và công thức để tính toán những gì là gì?

deep-learning conv-neural-network

— cướp biển
nguồn

1

Thanh bên liên quan gợi ý câu hỏi này , có liên quan đến loại điều bạn đang nghĩ và thú vị.

— Dougal

2

Nếu bạn nghĩ về một mạng chập như một ví dụ của MLP tiêu chuẩn, bạn có thể tìm ra các trường tiếp nhận theo cách chính xác giống như ví dụ bạn đã liên kết.

Hãy nhớ lại rằng một lớp chập thực chất là một tốc ký cho một lớp có nhiều mẫu lặp đi lặp lại, như trong hình ảnh này (từ câu trả lời này , ban đầu từ đây ):

ví dụ trực quan về tích chập

Mỗi "pixel đích" của hình ảnh đó tương ứng với một nơron có đầu vào là hình vuông màu xanh trong hình ảnh nguồn. Tùy thuộc vào kiến trúc mạng của bạn, các cấu trúc có thể không chính xác tương ứng với các pixel như thế, nhưng đó là cùng một ý tưởng. Các trọng số được sử dụng làm đầu vào cho tất cả các tế bào thần kinh tích chập được gắn, nhưng điều đó không liên quan đến những gì bạn nghĩ về ở đây.

Các nơ-ron tổng hợp có thể được nghĩ theo cùng một cách, kết hợp các lĩnh vực tiếp nhận của từng đầu vào của chúng.

— Dougal
nguồn

Hình dung đẹp! Ví dụ của bạn làm cho ý nghĩa hoàn hảo. Nếu tôi thêm một lớp gộp 2x2 sau lớp chập, thì mỗi nơ ron trong lớp gộp sẽ chỉ có trường tiếp nhận là 4 x 4, mặc dù trộn bốn trường 3x3 khi các nơ ron trong lớp chập trùng nhau. Tôi có thể dễ dàng hiểu được vấn đề này và tạo ra một số công thức đơn giản cho lĩnh vực tiếp nhận dựa trên kích thước gộp, v.v. Tuy nhiên, nó trở nên phức tạp hơn đối với lớp chập sau vì trường tiếp nhận cũng phụ thuộc vào bước tiến cho lớp bỏ phiếu, v.v. Công thức nào cho RF tính đến điều này?

— cướp biển

Vì vậy, hình vuông màu xanh trong pixel nguồn có kích thước của trường tiếp nhận không?

— Charlie Parker

Tôi có cùng một câu hỏi, trong bài báo "R-CNN nhanh hơn: Hướng tới phát hiện đối tượng theo thời gian thực với các mạng đề xuất khu vực", nó nói trong phần 3.1, lĩnh vực tiếp nhận của ZF và VGG16 là 171 và 228 nhưng không thêm lên từ cấu hình mạng. Hy vọng ai đó có thể làm rõ điều này cho tôi.

— Chan Kim

0

Trong Faster-RCnn, trường tiếp nhận hiệu quả có thể được tính như sau (VGG16):

Img->
Conv1 (3) -> Conv1 (3) -> Pool1 (2) ==>
Conv2 (3) -> Conv2 (3) -> Pool2 (2) ==>
Conv3 (3) -> Conv3 (3 ) -> Conv3 (3) -> Pool3 (2) ==>
Conv4 (3) -> Conv4 (3) -> Conv4 (3) -> Pool4 (2) ==>
Conv5 (3) -> Conv5 (3 ) -> Conv5 (3) ====>
cửa sổ 3 * 3 trong bản đồ tính năng.
Hãy đơn giản một chiều. Nếu chúng tôi lấy lại từ kích thước 3, trường tiếp nhận ban đầu:
1). vào đầu Conv5: 3 + 2 + 2 + 2 = 9
2). vào đầu Conv4: 9 * 2 + 2 + 2 + 2 = 24
3). vào đầu Conv3: 24 * 2 + 2 + 2 + 2 = 54
4). vào đầu Conv2: 54 * 2 + 2 + 2 = 112
5). ở đầu Conv1 (đầu vào ban đầu): 112 * 2 + 2 + 2 = 228

— Hội du thuyền
nguồn