Tính năng quan trọng với Scikit-learn Random Forest cho thấy Độ lệch chuẩn rất cao

Tôi đang sử dụng Trình phân loại rừng ngẫu nhiên scikit-learn và tôi muốn vẽ tầm quan trọng của tính năng như trong ví dụ này .

Tuy nhiên, kết quả của tôi là hoàn toàn khác nhau, theo nghĩa là độ lệch chuẩn của tính năng quan trọng hầu như luôn luôn lớn hơn bản thân tầm quan trọng của tính năng (xem hình ảnh đính kèm).

Có thể có loại hành vi như vậy, hoặc tôi đang làm một số sai lầm khi âm mưu?

Mã của tôi là như sau:

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier()
clf.fit(predictors.values, outcome.values.ravel())

importance = clf.feature_importances_
importance = pd.DataFrame(importance, index=predictors.columns, 
                          columns=["Importance"])

importance["Std"] = np.std([tree.feature_importances_
                            for tree in clf.estimators_], axis=0)

x = range(importance.shape[0])
y = importance.ix[:, 0]
yerr = importance.ix[:, 1]

plt.bar(x, y, yerr=yerr, align="center")

plt.show()

Bạn đang sử dụng RandomForest với số lượng cây mặc định là 10. Với khoảng 30 tính năng thì điều này là quá ít. Do đó độ lệch chuẩn là lớn. Hãy thử ít nhất 100 hoặc thậm chí 1000 cây, như

clf = RandomForestClassifier(n_estimators=1000)

Để phân tích tinh tế hơn, bạn cũng có thể kiểm tra mức độ tương quan giữa các tính năng của bạn.

Kết quả của bạn không có gì lạ. Theo lanenok , trong bước đầu tiên, bạn nên tăng số lượng cây để đảm bảo rằng bạn nhận được kết quả 'thống kê' liên quan đến các tính năng quan trọng.

Tuy nhiên, như bài báo này của Genuer et al. (2010) cho thấy, bạn thực sự có thể sử dụng độ lệch chuẩn để loại bỏ các tính năng. Để trích dẫn: " Chúng ta có thể thấy rằng độ lệch chuẩn của các biến thực là lớn so với các biến nhiễu một, gần bằng không. "

Hãy thử clf = RandomForestClassifier(max_features=None). Các max_featuresmặc định param 'auto'tương đương với sqrt(n_features). max_featuresđược mô tả là "Số lượng tính năng cần xem xét khi tìm kiếm sự phân chia tốt nhất." Chỉ nhìn vào một số lượng nhỏ các tính năng tại bất kỳ điểm nào trong cây quyết định có nghĩa là tầm quan trọng của một tính năng có thể khác nhau trên nhiều cây. Vì vậy, đừng nhìn vào một tập hợp con ngẫu nhiên, chỉ cần nhìn vào tất cả các tính năng ở mọi cấp độ của cây.

Một lý do phổ biến cho điều này là các tham số bạn cung cấp (hoặc mặc định) RandomForestClassifierkhông phù hợp với tập dữ liệu của bạn.

Một cách phổ biến để giải quyết vấn đề này là tìm kiếm không gian siêu tham số bằng cách sử dụng GridSearchCV:

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer

param_grid = {'n_estimators': [10, 100, 1000], 'max_features': [5, 10, 20, 30]}
clf = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring=make_scorer(accuracy_score))

param_gridđây là hoán vị của các tham số mà bạn muốn tìm kiếm và make_scorer(accuracy_score)là số đo bạn muốn tối ưu hóa.

Lưu ý rằng accuracy_scorephù hợp cho các bộ cân bằng, nhưng không phải cho các bộ không cân bằng. Chọn một số liệu phù hợp với mục tiêu cụ thể của bạn.

Có thể có nhiều lý do. Số lượng cây và độ sâu có thể thay đổi kết quả của bạn. Nếu mô hình của bạn không hoạt động tốt sau khi chọn các tham số (xác thực chéo, v.v.), có thể là do các tính năng của bạn không mang tính dự đoán cao, do đó chúng được chọn gần như "ngẫu nhiên" dẫn đến độ lệch chuẩn cao từ cây này sang cây khác. Nhưng có những khả năng khác, ví dụ như các tính năng của bạn có mối tương quan cao. Một chút thông tin sẽ hữu ích.