Phân loại với một yếu tố dự đoán chi phối

Tôi có một vấn đề phân loại ( lớp ), với thứ tự 100 dự đoán có giá trị thực, một trong số đó dường như có sức mạnh giải thích hơn nhiều so với bất kỳ dự đoán nào khác. Tôi muốn tìm hiểu sâu hơn về tác động của các biến khác. Tuy nhiên, các kỹ thuật học máy tiêu chuẩn (rừng ngẫu nhiên, SVM, v.v.) dường như bị lấn át bởi một người dự đoán mạnh mẽ và không cung cấp cho tôi nhiều thông tin thú vị về những người khác.$k$

Nếu đây là một vấn đề hồi quy, tôi chỉ đơn giản là hồi quy chống lại bộ dự báo mạnh và sau đó sử dụng phần dư làm đầu vào cho các thuật toán khác. Tôi thực sự không thấy cách tiếp cận này có thể được dịch sang ngữ cảnh phân loại.

Bản năng của tôi là vấn đề này phải phổ biến một cách hợp lý: có một kỹ thuật tiêu chuẩn để xử lý nó không?

Đối với các sự cố 2 lớp, bạn có thể sử dụng gói GBM trong R , sẽ lặp lại khớp các cây phân loại với phần dư từ hàm mất. Thật không may, nó chưa hỗ trợ các vấn đề đa lớp.

Đây có vẻ như là một vấn đề rất phù hợp để tăng cường, nhưng tôi không biết bất kỳ gói tăng cường nào hỗ trợ các vấn đề của lớp k. Tôi nghĩ rằng vấn đề là viết một hàm mất thích hợp cho nhiều lớp. Các glmnetgói có chức năng mất đa cực, có lẽ bạn có thể xem qua mã nguồn của nó cho một số con trỏ.

Bạn có thể thử viết thuật toán tăng cường của riêng mình hoặc bạn có thể biến vấn đề của mình thành k vấn đề phân loại nhị phân (một lớp so với tất cả các lớp khác), phù hợp với mô hình gbm cho từng vấn đề và tính trung bình xác suất của lớp từ mỗi mô hình.