Tiếng ồn ảnh hưởng đến khái quát như thế nào?


11

Việc tăng tiếng ồn trong dữ liệu có giúp cải thiện khả năng học tập của một mạng không? Liệu nó có làm nên sự khác biệt hay nó phụ thuộc vào vấn đề đang được giải quyết? Nó ảnh hưởng đến quá trình khái quát hóa như thế nào?

Câu trả lời:


9

Tiếng ồn trong dữ liệu, đến một mức hợp lý, có thể giúp mạng lưới tổng quát hóa tốt hơn. Đôi khi, nó có tác dụng ngược lại. Nó một phần phụ thuộc vào loại tiếng ồn ("thật" so với nhân tạo).

Câu hỏi thường gặp về AI trên ANN cung cấp một cái nhìn tổng quan tốt. Trích đoạn:

Nhiễu trong dữ liệu thực tế không bao giờ là một điều tốt, vì nó giới hạn độ chính xác của việc khái quát hóa có thể đạt được cho dù tập huấn luyện có rộng đến mức nào. Mặt khác, bơm tiếng ồn nhân tạo (jitter) vào đầu vào trong quá trình đào tạo là một trong nhiều cách để cải thiện việc khái quát hóa cho các chức năng trơn tru khi bạn có một bộ huấn luyện nhỏ.

Trong một số lĩnh vực, chẳng hạn như tầm nhìn máy tính, việc tăng quy mô tập huấn bằng cách sao chép một số mẫu và thêm một số tiếng ồn hoặc chuyển đổi khác là điều phổ biến.


8

Chúng tôi thường nghĩ về các mô hình học máy như mô hình hóa hai phần khác nhau của dữ liệu đào tạo - sự thật khái quát hóa cơ bản (tín hiệu) và tính ngẫu nhiên cụ thể cho tập dữ liệu đó (tiếng ồn).

Lắp cả hai bộ phận này làm tăng độ chính xác của tập huấn luyện, nhưng lắp tín hiệu cũng làm tăng độ chính xác của bộ kiểm tra (và hiệu suất trong thế giới thực) trong khi lắp độ ồn làm giảm cả hai. Vì vậy, chúng tôi sử dụng những thứ như chính quy hóa và bỏ học và các kỹ thuật tương tự để làm cho việc điều chỉnh nhiễu khó hơn và do đó có nhiều khả năng phù hợp với tín hiệu hơn.

Chỉ cần tăng lượng nhiễu trong dữ liệu đào tạo là một trong những cách tiếp cận như vậy, nhưng dường như không hữu ích bằng. Ví dụ, so sánh jitter ngẫu nhiên với tăng cường nghịch cảnh; cái đầu tiên sẽ từ từ và gián tiếp cải thiện sự mạnh mẽ trong khi cái thứ nhất sẽ cải thiện đáng kể và trực tiếp.


1

Tái bút: Đã có một số câu trả lời rất hay được cung cấp ở đây, tôi sẽ chỉ thêm vào câu trả lời này với hy vọng ai đó sẽ thấy điều này hữu ích:

Giới thiệu tiếng ồn cho một tập dữ liệu thực sự có thể có ảnh hưởng tích cực đến một mô hình. Trong thực tế, điều này có thể được xem là làm điều tương tự mà bạn thường làm với những người thường xuyên như bỏ học . Một số ví dụ về việc này là Zur at.al , Cires¸at.al nơi các tác giả đã giới thiệu thành công tiếng ồn vào bộ dữ liệu để giảm sự phù hợp quá mức.

Cái khó là biết bao nhiêu tiếng ồn là quá nhiều. Nếu bạn thêm quá nhiều tiếng ồn, điều này có thể khiến tập dữ liệu của bạn trở nên vô dụng trong đó tập dữ liệu kết quả có thể không còn đủ tương tự với tập dữ liệu gốc, do đó bạn cũng có thể được đào tạo về một tập dữ liệu hoàn toàn khác. Do đó, quá nhiều tiếng ồn có thể được nhìn thấy gây ra sự phù hợp, giống như tỷ lệ bỏ học cực kỳ cao.

Như đã nói; thay đổi cân bằng là gia vị của cuộc sống :).

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.