Liệu dữ liệu đầu vào tương quan có dẫn đến quá mức với các mạng thần kinh?


13

Theo tôi, dữ liệu đầu vào tương quan phải dẫn đến quá mức trong các mạng thần kinh vì mạng tìm hiểu mối tương quan, ví dụ như nhiễu trong dữ liệu.

Điều này có đúng không?

Câu trả lời:


11

Thật ra là không.

Câu hỏi như vậy là một chút chung chung, và trộn lẫn hai điều không thực sự liên quan. Quá mức thường có nghĩa là chất lượng đối lập để là một mô tả tổng quát; theo nghĩa là một mạng quá mức (hoặc quá tập trung) sẽ có sức mạnh tổng quát hóa ít hơn. Chất lượng này chủ yếu được xác định bởi kiến ​​trúc mạng, đào tạo và quy trình xác nhận. Dữ liệu và thuộc tính của nó chỉ nhập là "một cái gì đó mà quy trình đào tạo xảy ra trên". Đây ít nhiều là "kiến thức sách giáo khoa"; bạn có thể thử "Giới thiệu về học thống kê" của James, Witten, Hastie và Tibshirani. Hoặc "Nhận dạng mẫu" của Đức cha (cuốn sách yêu thích của tôi từng nói về chủ đề chung). Hoặc "Nhận dạng mẫu và học máy", cũng bởi Giám mục.

Đối với chính mối tương quan: Xem xét không gian đầu vào có một chiều nhất định. Cho dù bạn sử dụng phép biến đổi nào, thì thứ nguyên sẽ vẫn như cũ - đại số tuyến tính nói như vậy. Trong một trường hợp, cơ sở đã cho sẽ hoàn toàn không tương quan - đây là những gì bạn nhận được, khi bạn không tương quan các biến hoặc chỉ đơn giản áp dụng PAT (Chuyển đổi trục nguyên lý.) Lấy bất kỳ cuốn sách đại số tuyến tính nào cho việc này.

Vì một mạng nơ-ron với kiến ​​trúc phù hợp có thể mô hình hóa bất kỳ hàm (!) Nào, nên bạn có thể giả định một cách an toàn, trước tiên nó cũng có thể mô hình hóa PAT và sau đó làm bất cứ điều gì cũng nên làm - ví dụ: phân loại, hồi quy, v.v.

Bạn cũng có thể xem xét mối tương quan là một tính năng, là một phần của mô tả mạng thần kinh, vì đó là một thuộc tính của dữ liệu. Bản chất của mối tương quan không thực sự quan trọng, trừ khi đó là thứ không nên là một phần của dữ liệu. Đây thực sự sẽ là một chủ đề khác - bạn nên lập mô hình hoặc định lượng một cái gì đó như tiếng ồn trong đầu vào và tài khoản cho nó.

Vì vậy, tóm lại là không. Dữ liệu tương quan có nghĩa là bạn nên làm việc chăm chỉ hơn để xử lý dữ liệu đơn giản hơn và hiệu quả hơn. Quá mức có thể xảy ra, nhưng sẽ không xảy ra vì có dữ liệu tương quan.


Xin lỗi, nhưng tôi vẫn không hiểu tại sao. Ngoài ra nghi ngờ của tôi là một chút chung chung. Tôi đang tìm kiếm một câu trả lời cho "Dữ liệu đầu vào tương quan có thể gây hại cho mạng thần kinh không?". Ở đây bạn tuyên bố, "bạn có thể giả định một cách an toàn rằng nó cũng có thể mô hình đầu tiên". Nhưng làm thế nào bạn thực hiện giả định đó. Và sau đó, câu hỏi tiếp theo của tôi là điều gì xảy ra nếu kiến ​​trúc thần kinh không thất bại trong mô hình PAT?
bytestorm

@bytestorm: câu hỏi đầu tiên của bạn khác với bản gốc. Đầu vào tương quan có thể giới hạn hiệu suất ANN của bạn (cũng như đối với các phương pháp khác). Nhưng nó không phải là tài sản vốn có của ANN. Đối với câu hỏi thứ hai, đó không phải là một giả định, mà chỉ là một lời giải thích mẫu mực tại sao ANNs có thể mô hình hóa PAT. Trong thực tế tôi sẽ không làm điều đó như thế, cũng không khuyên bạn nên làm điều đó.
cherub

6

cherub là chính xác liên quan đến tuyên bố của mình liên quan đến quá phù hợp. Tuy nhiên, tôi nghĩ rằng các cuộc thảo luận về các tính năng tương quan cao và ANN đơn giản hóa quá mức vấn đề.

Đúng, theo lý thuyết thì ANN có thể xấp xỉ bất kỳ chức năng nào. Tuy nhiên, trong thực tế không phải là một ý tưởng tốt để bao gồm nhiều tính năng tương quan cao. Làm như vậy sẽ giới thiệu nhiều dự phòng trong mô hình. Việc đưa vào các khoản dự phòng như vậy sẽ gây ra sự phức tạp không cần thiết và làm như vậy có thể làm tăng số lượng cực tiểu địa phương. Cho rằng chức năng mất của ANN vốn không trơn tru, giới thiệu độ nhám không cần thiết không phải là một ý tưởng tuyệt vời.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.