Tại sao bình thường hóa hình ảnh bằng cách trừ đi hình ảnh của tập dữ liệu, thay vì hình ảnh hiện tại có nghĩa là học sâu?

Có một số biến thể về cách bình thường hóa hình ảnh nhưng dường như hầu hết đều sử dụng hai phương pháp sau:

1. Trừ giá trị trung bình trên mỗi kênh được tính trên tất cả các hình ảnh (ví dụ: VGG_ILSVRC_16_layers )
2. Trừ theo pixel / kênh được tính trên tất cả các hình ảnh (ví dụ: CNN_S , cũng xem mạng tham chiếu của Caffe )

Cách tiếp cận tự nhiên trong tâm trí tôi để bình thường hóa từng hình ảnh. Một hình ảnh được chụp dưới ánh sáng ban ngày sẽ khiến nhiều nơ-ron phát sáng hơn so với hình ảnh vào ban đêm và trong khi nó có thể cho chúng ta biết thời gian chúng ta thường quan tâm đến các tính năng thú vị hơn ở các cạnh, v.v.

Pierre Sermanet đề cập đến trong 3.3.3 rằng chuẩn hóa độ tương phản cục bộ sẽ dựa trên mỗi hình ảnh nhưng tôi không bắt gặp điều này trong bất kỳ ví dụ / hướng dẫn nào tôi từng thấy. Tôi cũng đã thấy một câu hỏi Quora thú vị và bài đăng của Xiu-Shen Wei nhưng họ dường như không ủng hộ hai cách tiếp cận trên.

Chính xác thì tôi đang thiếu gì? Đây có phải là một vấn đề bình thường hóa màu sắc hay có một bài báo thực sự giải thích tại sao rất nhiều người sử dụng phương pháp này?

Trừ dữ liệu có nghĩa là phục vụ "trung tâm" dữ liệu. Ngoài ra, lý tưởng nhất là bạn muốn chia cho sttdev của tính năng hoặc pixel đó nếu bạn muốn bình thường hóa từng giá trị tính năng thành một điểm z.

Lý do chúng tôi làm cả hai điều đó là vì trong quá trình đào tạo mạng của chúng tôi, chúng tôi sẽ nhân (trọng số) và thêm vào (độ lệch) các đầu vào ban đầu này để gây ra kích hoạt mà sau đó chúng tôi sao lưu với độ dốc đào tạo người mẫu.

Chúng tôi muốn trong quy trình này để mỗi tính năng có một phạm vi tương tự nhau để độ dốc của chúng tôi không vượt quá tầm kiểm soát (và chúng tôi chỉ cần một hệ số nhân tỷ lệ học tập toàn cầu).

Một cách khác mà bạn có thể nghĩ về nó là các mạng học sâu truyền thống chia sẻ nhiều tham số - nếu bạn không mở rộng quy mô đầu vào của mình theo cách dẫn đến các giá trị tính năng có phạm vi tương tự (ví dụ: trên toàn bộ dữ liệu bằng cách trừ trung bình) sẽ không chia sẻ xảy ra rất dễ dàng bởi vì một phần của trọng lượng hình ảnh wlà rất nhiều và phần khác thì quá nhỏ.

Bạn sẽ thấy trong một số mô hình CNN sử dụng làm trắng trên mỗi hình ảnh, điều này phù hợp hơn với suy nghĩ của bạn.

Trước khi chuẩn hóa hàng loạt, phép trừ trung bình trên mỗi kênh đã được sử dụng để định tâm dữ liệu quanh mức trung bình bằng 0 cho mỗi kênh (R, G, B). Điều này thường giúp mạng học nhanh hơn vì độ dốc hoạt động đồng đều cho từng kênh. Tôi nghi ngờ nếu bạn sử dụng chuẩn hóa hàng loạt, bước xử lý tiền trừ trung bình cho mỗi kênh không thực sự cần thiết vì dù sao bạn cũng bình thường hóa cho mỗi lô nhỏ.

Chuẩn hóa trên mỗi hình ảnh là phổ biến và thậm chí là chức năng được xây dựng duy nhất hiện có trong Tensorflow (chủ yếu là do rất dễ thực hiện). Nó được sử dụng cho lý do chính xác mà bạn đã đề cập (ngày VS đêm cho cùng một hình ảnh). Tuy nhiên, nếu bạn tưởng tượng một kịch bản lý tưởng hơn khi điều khiển ánh sáng, thì sự khác biệt tương đối giữa mỗi hình ảnh sẽ có giá trị lớn trong thuật toán và chúng tôi sẽ không muốn xóa sạch điều đó bằng chuẩn hóa mỗi hình ảnh (và sẽ muốn làm bình thường hóa trong bối cảnh của toàn bộ tập dữ liệu đào tạo).

Điều này được gọi là tiền xử lý dữ liệu trước khi sử dụng nó. Bạn có thể xử lý theo nhiều cách nhưng có một điều kiện là bạn nên xử lý từng dữ liệu có cùng hàm X_preproc = f (X) và f (.) Này không nên phụ thuộc vào chính dữ liệu, vì vậy nếu bạn sử dụng hình ảnh hiện tại có nghĩa là xử lý hình ảnh hiện tại thì f (X) của bạn sẽ thực sự là f (X, hình ảnh) và bạn không muốn điều đó.

Chuẩn hóa tương phản hình ảnh mà bạn đang nói là cho một mục đích khác. Chuẩn hóa hình ảnh tương phản sẽ giúp trong tính năng.

Nhưng f (.) Ở trên sẽ giúp tối ưu hóa bằng cách giữ tất cả các tính năng bằng số với nhau (tất nhiên là xấp xỉ)