Tại sao chúng ta cần bình thường hóa hình ảnh trước khi đưa chúng vào CNN?


Câu trả lời:


34

Lưu ý đầu tiên: bạn thực sự cũng nên chia cho độ lệch chuẩn của từng giá trị tính năng (pixel). Trừ trung bình trung bình đầu vào thành 0 và chia cho độ lệch chuẩn làm cho bất kỳ tính năng tỷ lệ nào có giá trị số lượng độ lệch chuẩn so với giá trị trung bình.

Để trả lời câu hỏi của bạn: Hãy xem xét làm thế nào một mạng lưới thần kinh học được trọng lượng của nó. Học C (NN) bằng cách liên tục thêm các vectơ lỗi gradient (nhân với tỷ lệ học) được tính toán từ truyền ngược cho các ma trận trọng số khác nhau trên mạng khi các ví dụ đào tạo được truyền qua.

Điều cần chú ý ở đây là "nhân với tỷ lệ học tập".

Nếu chúng tôi không mở rộng các vectơ đào tạo đầu vào của mình, phạm vi phân phối các giá trị tính năng của chúng tôi có thể sẽ khác nhau đối với từng tính năng và do đó, tốc độ học tập sẽ gây ra sự điều chỉnh theo từng chiều khác nhau (nói theo tỷ lệ) với nhau. Chúng tôi có thể sẽ bù đắp một sự điều chỉnh trong một chiều trọng lượng trong khi bù lại ở một chiều khác.

Điều này là không lý tưởng vì chúng ta có thể thấy mình ở trạng thái dao động (không thể tập trung vào một cực đại tốt hơn trong trạng thái không gian (trọng lượng)) hoặc trong trạng thái di chuyển chậm (di chuyển quá chậm để đạt đến trạng thái cực đại tốt hơn).

Tất nhiên có thể có tỷ lệ học tập theo trọng lượng, nhưng sẽ có nhiều siêu âm hơn để đưa vào một mạng đã phức tạp mà chúng ta cũng phải tối ưu hóa để tìm thấy. Nói chung tỷ lệ học tập là vô hướng.

Do đó, chúng tôi cố gắng bình thường hóa hình ảnh trước khi sử dụng chúng làm đầu vào cho thuật toán NN (hoặc bất kỳ độ dốc nào).


1
Còn hình ảnh màu thì sao? Tôi có làm điều đó cho mỗi kênh màu không? Điều đó có làm xáo trộn sự phân phối màu sắc không?
dùng10024395

2
Hãy tin rằng bạn phải có. Bạn chỉ có thể làm một cái gì đó như:(image - image.mean()) / (image.std() + 1e-8)
John ALLen

Điều này thực sự hữu ích cho đào tạo? Tôi đang đào tạo trình phát hiện đối tượng và sử dụng bộ điều chỉnh này, hình ảnh thực sự khó hiểu, thật khó để nhìn thấy các vật mà tôi đang phát hiện
Darlyn

Nó khá hữu ích cho việc đào tạo về khả năng học hỏi và độ chính xác - nó không dành cho bạn mà là cho mô hình :) Bạn có thể muốn xuất hình ảnh không chuẩn hóa khi bạn gỡ lỗi để nó xuất hiện bình thường trước mắt người.
lollercoaster
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.