Hợp nhất dữ liệu thưa thớt và dày đặc trong học máy để cải thiện hiệu suất

Tôi có các tính năng thưa thớt mang tính dự đoán, tôi cũng có một số tính năng dày đặc cũng mang tính dự đoán. Tôi cần kết hợp các tính năng này với nhau để cải thiện hiệu suất tổng thể của trình phân loại.

Bây giờ, điều là khi tôi cố gắng kết hợp những thứ này lại với nhau, các tính năng dày đặc có xu hướng chiếm ưu thế hơn so với các tính năng thưa thớt, do đó chỉ cải thiện 1% trong AUC so với mô hình chỉ có các tính năng dày đặc.

Có ai đó gặp phải vấn đề tương tự? Thực sự đánh giá cao các đầu vào, loại bị mắc kẹt. Tôi đã thử rất nhiều phân loại khác nhau, kết hợp các phân loại, biến đổi tính năng và xử lý với các thuật toán khác nhau.

Xin được cảm ơn trước về sự giúp đỡ.

Chỉnh sửa :

Tôi đã thử các đề xuất được đưa ra trong các ý kiến. Những gì tôi đã quan sát là, đối với gần 45% dữ liệu, các tính năng thưa thớt hoạt động rất tốt, tôi nhận được AUC khoảng 0,9 chỉ với các tính năng thưa thớt, nhưng đối với các tính năng dày đặc còn lại hoạt động tốt với AUC khoảng 0,75. Tôi đã cố gắng tách các bộ dữ liệu này, nhưng tôi nhận được AUC là 0,6, vì vậy, tôi không thể đơn giản đào tạo một mô hình và quyết định sử dụng các tính năng nào.

Về đoạn mã, tôi đã thử rất nhiều thứ, mà tôi không chắc chính xác những gì để chia sẻ :(

Đây có vẻ như là một công việc cho Phân tích thành phần chính. Trong Scikit là PCA được triển khai tốt và nó đã giúp tôi rất nhiều lần.

PCA, theo một cách nào đó, kết hợp các tính năng của bạn. Bằng cách giới hạn số lượng thành phần, bạn tìm nạp mô hình của mình với dữ liệu không có tiếng ồn (trong trường hợp tốt nhất). Bởi vì mô hình của bạn tốt như dữ liệu của bạn.

Hãy xem xét dưới đây một ví dụ đơn giản.

from sklearn.pipeline import Pipeline
pipe_rf = Pipeline([('pca', PCA(n_components=80)),
                    ('clf',RandomForestClassifier(n_estimators=100))])
pipe_rf.fit(X_train_s,y_train_s)

pred = pipe_rf.predict(X_test)

Tại sao tôi chọn 80? Khi tôi vẽ phương sai tích lũy, tôi đã nhận được điều này dưới đây, điều này cho tôi biết rằng với ~ 80 thành phần, tôi đạt được gần như tất cả các phương sai.

Vì vậy, tôi sẽ nói hãy thử nó, sử dụng nó trong các mô hình của bạn. Nó sẽ giúp.

Cách tốt nhất để kết hợp các tính năng là thông qua các phương pháp tập hợp. Về cơ bản có ba phương pháp khác nhau: đóng bao, tăng tốc và xếp chồng. Bạn có thể sử dụng Adabbost tăng cường với lựa chọn tính năng (trong trường hợp này xem xét cả tính năng thưa thớt và dày đặc) hoặc dựa trên xếp chồng (tính năng ngẫu nhiên - không gian con ngẫu nhiên) Tôi thích tùy chọn thứ hai bạn có thể đào tạo một nhóm người học cơ sở (quyết định. tập hợp con và tính năng ngẫu nhiên (giữ cho người học cơ sở đào tạo cho đến khi bạn bao quát toàn bộ bộ tính năng) Bước tiếp theo là kiểm tra tập huấn luyện để tạo dữ liệu meta. Sử dụng dữ liệu meta này để đào tạo một trình phân loại meta. Trình phân loại meta sẽ chỉ ra tính năng nào quan trọng hơn và loại mối quan hệ nào nên được sử dụng

Các nhóm biến có thể là đa hướng hoặc chuyển đổi giữa thưa thớt và dày đặc có thể sai. Bạn đã nghĩ về việc sử dụng một phân loại bỏ phiếu / phân loại hòa tấu? http://scikit-learn.org/urdy/modules/ensemble.html Bằng cách đó bạn có thể giải quyết cả hai vấn đề trên.

Ngoài một số gợi ý ở trên, tôi khuyên bạn nên sử dụng phương pháp mô hình hóa hai bước .

1. Sử dụng các tính năng thưa thớt đầu tiên và phát triển mô hình tốt nhất.
2. Tính xác suất dự đoán từ mô hình đó.
3. Đưa ước tính xác suất đó vào mô hình thứ hai (như một tính năng đầu vào), sẽ kết hợp các tính năng dày đặc. Nói cách khác, sử dụng tất cả các tính năng dày đặc và ước tính xác suất để xây dựng mô hình thứ hai.
4. Việc phân loại cuối cùng sau đó sẽ dựa trên mô hình thứ hai.

Chỉ thử PCA trên các tính năng thưa thớt và kết hợp đầu ra PCA với các tính năng dày đặc.

Vì vậy, bạn sẽ nhận được tập hợp dày đặc các tính năng (bản gốc) + bộ tính năng dày đặc (ban đầu thưa thớt).

+1 cho câu hỏi. Hãy cập nhật cho chúng tôi với kết quả.