ValueError: Đầu vào chứa NaN, vô cực hoặc giá trị quá lớn đối với dtype ('float32')

Tôi đã nhận được ValueError khi dự đoán dữ liệu thử nghiệm bằng mô hình RandomForest.

Ma cua toi:

clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2)
clf.fit(X_fit, y_fit)

df_test.fillna(df_test.mean())
X_test = df_test.values  
y_pred = clf.predict(X_test)

Lỗi:

ValueError: Input contains NaN, infinity or a value too large for dtype('float32').

Làm cách nào để tìm các giá trị xấu trong tập dữ liệu thử nghiệm? Ngoài ra, tôi không muốn bỏ các hồ sơ này, tôi chỉ có thể thay thế chúng bằng giá trị trung bình hoặc trung bình?

Cảm ơn.

Với np.isnan(X)bạn nhận được mặt nạ boolean trở lại với True cho các vị trí chứa NaNs.

Với np.where(np.isnan(X))bạn nhận lại một tuple với tọa độ i, j của NaNs.

Cuối cùng, với np.nan_to_num(X)bạn "thay nan bằng 0 và inf bằng số hữu hạn".

Ngoài ra, bạn có thể sử dụng:

• sklearn.impute.SimpleImputer cho việc loại bỏ giá trị trung bình / trung bình của các giá trị bị thiếu hoặc
• gấu trúc ' pd.DataFrame(X).fillna(), nếu bạn cần một cái gì đó ngoài việc lấp đầy nó bằng số không.

Giả sử X_testlà một khung dữ liệu gấu trúc, bạn có thể sử dụng DataFrame.fillnađể thay thế các giá trị NaN bằng giá trị trung bình:

X_test.fillna(X_test.mean())

Đối với bất kỳ ai xảy ra trên này, để thực sự sửa đổi bản gốc:

X_test.fillna(X_train.mean(), inplace=True)

Để ghi đè lên bản gốc:

X_test = X_test.fillna(X_train.mean())

Để kiểm tra xem bạn đang ở bản sao so với chế độ xem:

X_test._is_view

Đừng quên

col_mask=df.isnull().any(axis=0) 

Trả về mặt nạ boolean cho biết giá trị np.nan.

row_mask=df.isnull().any(axis=1)

Mà trả về các hàng nơi np.nan xuất hiện. Sau đó, bằng cách lập chỉ mục đơn giản, bạn có thể gắn cờ tất cả các điểm của mình là np.nan.

df.loc[row_mask,col_mask]

Tôi đã đối mặt với vấn đề tương tự và thấy rằng numpy xử lý NaN và Inf khác nhau.
Nếu dữ liệu của bạn có Inf, hãy thử điều này:

np.where(x.values >= np.finfo(np.float64).max)
Where x is my pandas Dataframe 

Điều này sẽ đưa ra một bộ vị trí của các vị trí có giá trị NA.

Nếu dữ liệu của bạn có Nan, hãy thử điều này:

np.isnan(x.values.any())

Đừng quên kiểm tra giá trị inf. Điều duy nhất làm việc cho tôi:

df[df==np.inf]=np.nan
df.fillna(df.mean(), inplace=True)

Và thậm chí tốt hơn nếu bạn đang sử dụng sklearn

def replace_missing_value(df, number_features):

    imputer = Imputer(strategy="median")
    df_num = df[number_features]
    imputer.fit(df_num)
    X = imputer.transform(df_num)
    res_def = pd.DataFrame(X, columns=df_num.columns)
    return res_def

Ví dụ, khi number_features sẽ là một mảng của nhãn number_features:

number_features = ['median_income', 'gdp']

Dưới đây là mã cho cách "Thay thế NaN bằng 0 và vô cùng bằng số hữu hạn lớn". sử dụng numpy.nan_to_num .

df[:] = np.nan_to_num(df)

Cũng xem câu trả lời của fernando .