Quá mức cao hơn bằng cách sử dụng dữ liệu tăng cường với tiếng ồn?

Tôi đang đào tạo một mạng lưới thần kinh để phân loại âm thanh.

Tôi đã đào tạo nó trên bộ dữ liệu UrbanSound8K (Model1) , và sau đó tôi muốn đánh giá mức độ nhiễu khác nhau đối với các đầu vào ảnh hưởng đến độ chính xác dự đoán. Độ chính xác cơ bản Model1 = 65%

Như mong đợi, mức độ tiếng ồn cao hơn dẫn đến độ chính xác thấp hơn.

Sau đó, tôi quyết định thực hiện tăng dữ liệu bằng nhiễu (Model2) . Vì vậy, tôi đã lấy tập dữ liệu và tôi đã sao chép nó với cùng một tệp nhưng thêm nhiễu hồng (+0 dB SNR) cho chúng.

Như mong đợi (theo tôi), độ chính xác tổng thể tăng (mặc dù một chút rất nhỏ, 0,5%), và mạng trở nên mạnh mẽ hơn đối với các lỗi nhiễu của đầu vào.

Tuy nhiên! Một điều mà tôi không mong đợi là bây giờ mạng đã giảm độ chính xác khi chỉ dự đoán các đầu vào không có tiếng ồn (đầu vào xác thực). Bằng cách nào đó, nó đã được trang bị quá mức cho các đầu vào sạch, do đó làm giảm độ chính xác dự đoán trên các âm thanh này.

Vì vậy, về số lượng, Model2 dự đoán với độ chính xác 69% đối với các đầu vào nhiễu (không nhất thiết phải giống với tiếng ồn đã được huấn luyện) và 47% chính xác cho các đầu vào sạch.

Có bất kỳ lời giải thích hoặc trực giác về kết quả này?

Tôi đã mong đợi rằng mạng, ngày càng có nhiều dữ liệu đào tạo đa dạng hơn, sẽ học được nhiều tính năng có ý nghĩa hơn. Tôi đoán khó khăn hơn để phù hợp với các đầu vào ồn ào, nhưng tôi vẫn không hiểu tại sao nó lại được trang bị quá mức cho các đầu vào sạch.

------------------------------------------------- BIÊN TẬP 1 ------------------------------------------------- ---------------

Một thông tin khác có thể hữu ích:

Ngay cả khi đánh giá Model2 trên các đầu vào nhiễu với rất ít nhiễu, mạng vẫn hoạt động tốt hơn so với chỉ đầu vào sạch (rất giống với đầu vào có tiếng ồn nhỏ vào tai chúng ta)

Bạn phù hợp với một mô hình để lỗi các tính năng đầu vào miễn phí. Sau đó, bạn đã thêm một số lỗi (nhiễu) vào cùng dữ liệu của mình và lắp lại mô hình. Bạn quan sát dự đoán tồi tệ hơn về đầu vào nhiễu (đầu vào có lỗi) so với đầu vào không có tiếng ồn (đầu vào không có lỗi). Bạn mong đợi mô hình sẽ tốt như mô hình trước đó về đầu vào không có tiếng ồn và tốt hơn đối với đầu vào ồn.

Bạn đã không thêm nhiều dữ liệu đào tạo mà bạn chỉ sao chép cùng một dữ liệu với nhiễu. Theo trực giác, một mô hình được đào tạo về TẤT CẢ các đầu vào không có tiếng ồn sẽ có dự đoán chính xác hơn khi các đầu vào cũng không có tiếng ồn so với mô hình được đào tạo trên TẤT CẢ dữ liệu nhiễu. Tương tự, trực giác của tôi là một mô hình được đào tạo với tất cả dữ liệu nhiễu sẽ chính xác hơn khi dự đoán từ các đầu vào nhiễu hơn so với mô hình được đào tạo với tất cả dữ liệu không có tiếng ồn. Nếu bạn có một số hỗn hợp dữ liệu không nhiễu và nhiễu, thì trực giác của tôi là bạn sẽ có dự đoán tốt hơn về dữ liệu nhiễu so với mô hình được đào tạo chỉ có dữ liệu không nhiễu và dự đoán tốt hơn về dữ liệu không nhiễu so với mô hình chỉ được đào tạo trên dữ liệu nhiễu. Điều này có vẻ phù hợp với những gì bạn quan sát.

BIÊN TẬP:

Về cơ bản, quá mức xảy ra khi chúng ta nhầm lẫn nhiễu trong dữ liệu cho tín hiệu. Tôi sử dụng thuật ngữ tiếng ồn trong ý nghĩa khái niệm của thông tin vô dụng hoặc thông tin cụ thể chỉ để đào tạo dữ liệu. Nếu điều này xảy ra, mô hình phù hợp với dữ liệu đào tạo, nhưng không khái quát tốt. Hãy tưởng tượng chúng ta có điểm và mô hình nội suy tất cả các điểm. Nếu các điểm là ồn ào thì hành vi này là không mong muốn. Kiến thức thô sơ của tôi về tăng dữ liệu là nó giảm quá mức vì khi chúng ta thêm nhiễu vào dữ liệu huấn luyện, mô hình chúng ta phù hợp sẽ có xu hướng cân bằng lỗi giữa các điểm gần đó để giảm thiểu lỗi tổng thể. Mô hình này tốt hơn theo nghĩa trung bình ở chỗ nó có ít lỗi hơn khi dự đoán cả dữ liệu không nhiễu và nhiễu. Nó sẽ khái quát tốt hơn cho dữ liệu có thể hơi khác so với dữ liệu đào tạo. Tuy nhiên,