Làm thế nào để chọn các tính năng cho một mạng lưới thần kinh?

Tôi biết rằng không có câu trả lời rõ ràng cho câu hỏi này, nhưng giả sử rằng tôi có một mạng lưới thần kinh khổng lồ, với rất nhiều dữ liệu và tôi muốn thêm một tính năng mới trong đầu vào. Cách "tốt nhất" sẽ là kiểm tra mạng với tính năng mới và xem kết quả, nhưng có phương pháp nào để kiểm tra xem tính năng này có hữu ích không? Giống như các biện pháp tương quan ( http://www3.nd.edu/~mclark19/learn/CorrelationComparison.pdf ) vv?

Một mối tương quan rất mạnh giữa tính năng mới và tính năng hiện có là một dấu hiệu khá tốt cho thấy tính năng mới cung cấp ít thông tin mới. Một mối tương quan thấp giữa tính năng mới và các tính năng hiện có có khả năng thích hợp hơn.

Một mối tương quan tuyến tính mạnh mẽ giữa tính năng mới và biến dự đoán là một dấu hiệu tốt cho thấy một tính năng mới sẽ có giá trị, nhưng việc không có mối tương quan cao là không cần thiết là một dấu hiệu của một tính năng kém, bởi vì các mạng thần kinh không bị hạn chế đối với các kết hợp tuyến tính của các biến.

Nếu tính năng mới được xây dựng thủ công từ sự kết hợp của các tính năng hiện có, hãy xem xét loại bỏ nó. Vẻ đẹp của mạng lưới thần kinh là ít kỹ thuật tính năng và tiền xử lý được yêu cầu - thay vào đó các tính năng được học bởi các lớp trung gian. Bất cứ khi nào có thể, thích học các tính năng để kỹ thuật chúng.

Nếu bạn đang sử dụng sklearn, có một chức năng tốt có tên là model.feature_importances_. Hãy dùng thử với mô hình / tính năng mới của bạn và xem nếu nó giúp. Cũng xem ở đây và ở đây cho ví dụ.