Tôi đang sử dụng sklearn và gặp sự cố với việc truyền mối quan hệ. Tôi đã xây dựng một ma trận đầu vào và tôi tiếp tục gặp lỗi sau.

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

tôi chạy

np.isnan(mat.any()) #and gets False
np.isfinite(mat.all()) #and gets True

Tôi đã thử sử dụng

mat[np.isfinite(mat) == True] = 0

để loại bỏ các giá trị vô hạn nhưng điều này cũng không hoạt động. Tôi có thể làm gì để loại bỏ các giá trị vô hạn trong ma trận của mình để có thể sử dụng thuật toán lan truyền ái lực?

Tôi đang sử dụng anaconda và python 2.7.9.

Điều này có thể xảy ra bên trong scikit, và nó phụ thuộc vào những gì bạn đang làm. Tôi khuyên bạn nên đọc tài liệu về các chức năng bạn đang sử dụng. Bạn có thể đang sử dụng một cái phụ thuộc vào việc ma trận của bạn là xác định dương và không đáp ứng các tiêu chí đó.

CHỈNH SỬA : Làm thế nào tôi có thể bỏ lỡ điều đó:

np.isnan(mat.any()) #and gets False
np.isfinite(mat.all()) #and gets True

rõ ràng là sai. Đúng sẽ là:

np.any(np.isnan(mat))

và

np.all(np.isfinite(mat))

Bạn muốn kiểm tra bất kỳ phần tử nào có phải là NaN hay không và giá trị trả về của anyhàm có phải là số hay không ...

Tôi nhận được thông báo lỗi tương tự khi sử dụng sklearn với gấu trúc . Giải pháp của tôi là đặt lại chỉ mục của khung dữ liệu của tôi dftrước khi chạy bất kỳ mã sklearn nào:

df = df.reset_index()

Tôi đã gặp sự cố này nhiều lần khi xóa một số mục nhập trong của mình df, chẳng hạn như

df = df[df.label=='desired_one']

Đây là chức năng của tôi (dựa trên này ) để làm sạch các bộ dữ liệu của nan, Infvà thiếu các tế bào (ví bộ dữ liệu sai lệch):

import pandas as pd

def clean_dataset(df):
    assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
    df.dropna(inplace=True)
    indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf]).any(1)
    return df[indices_to_keep].astype(np.float64)

Kích thước của mảng đầu vào của tôi bị lệch, vì csv đầu vào của tôi có khoảng trống.

Đây là kiểm tra mà nó không thành công:

• https://github.com/scikit-learn/scikit-learn/blob/0.17.X/sklearn/utils/validation.py#L51

Mà nói

def _assert_all_finite(X):
    """Like assert_all_finite, but only for ndarray."""
    X = np.asanyarray(X)
    # First try an O(n) time, O(1) space solution for the common case that
    # everything is finite; fall back to O(n) space np.isfinite to prevent
    # false positives from overflow in sum method.
    if (X.dtype.char in np.typecodes['AllFloat'] and not np.isfinite(X.sum())
            and not np.isfinite(X).all()):
        raise ValueError("Input contains NaN, infinity"
                         " or a value too large for %r." % X.dtype)

Vì vậy, hãy đảm bảo rằng bạn có các giá trị không phải NaN trong đầu vào của mình. Và tất cả những giá trị đó thực sự là giá trị float. Không có giá trị nào phải là Inf.

Với phiên bản python 3 này:

/opt/anaconda3/bin/python --version
Python 3.6.0 :: Anaconda 4.3.0 (64-bit)

Xem xét chi tiết của lỗi, tôi tìm thấy các dòng mã gây ra lỗi:

/opt/anaconda3/lib/python3.6/site-packages/sklearn/utils/validation.py in _assert_all_finite(X)
     56             and not np.isfinite(X).all()):
     57         raise ValueError("Input contains NaN, infinity"
---> 58                          " or a value too large for %r." % X.dtype)
     59 
     60 

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

Từ đó, tôi đã có thể trích xuất cách chính xác để kiểm tra những gì đang xảy ra với dữ liệu của mình bằng cách sử dụng cùng một bài kiểm tra không thành công do thông báo lỗi đưa ra: np.isfinite(X)

Sau đó, với một vòng lặp nhanh và bẩn, tôi có thể thấy rằng dữ liệu của tôi thực sự chứa nans:

print(p[:,0].shape)
index = 0
for i in p[:,0]:
    if not np.isfinite(i):
        print(index, i)
    index +=1

(367340,)
4454 nan
6940 nan
10868 nan
12753 nan
14855 nan
15678 nan
24954 nan
30251 nan
31108 nan
51455 nan
59055 nan
...

Bây giờ tất cả những gì tôi phải làm là loại bỏ các giá trị tại các chỉ mục này.

Tôi đã gặp lỗi sau khi cố gắng chọn một tập hợp con các hàng:

df = df.reindex(index=my_index)

Hóa ra có my_indexchứa các giá trị không được chứa trong df.index, vì vậy hàm reindex đã chèn một số hàng mới và lấp đầy chúng nan.

Trong hầu hết các trường hợp, việc loại bỏ các giá trị vô hạn và vô hạn sẽ giải quyết được vấn đề này.

thoát khỏi giá trị vô hạn.

df.replace([np.inf, -np.inf], np.nan, inplace=True)

loại bỏ các giá trị null theo cách bạn thích, giá trị cụ thể như 999, giá trị trung bình hoặc tạo hàm của riêng bạn để gán các giá trị bị thiếu

df.fillna(999, inplace=True)

Tôi đã gặp lỗi tương tự và trong trường hợp của tôi, X và y là khung dữ liệu nên trước tiên tôi phải chuyển đổi chúng thành ma trận:

X = X.values.astype(np.float)
y = y.values.astype(np.float)

Chỉnh sửa: X.as_matrix () được đề xuất ban đầu không được dùng nữa

tôi gặp lỗi tương tự. nó đã hoạt động với df.fillna(-99999, inplace=True)trước khi thực hiện bất kỳ sự thay thế, thay thế nào, v.v.

Trong trường hợp của tôi, vấn đề là nhiều hàm scikit trả về mảng numpy, không có chỉ mục gấu trúc. Vì vậy, có sự không khớp về chỉ mục khi tôi sử dụng các mảng trống đó để xây dựng các DataFrame mới và sau đó tôi cố gắng trộn chúng với dữ liệu ban đầu.

Xóa tất cả các giá trị vô hạn:

(và thay thế bằng tối thiểu hoặc tối đa cho cột đó)

# find min and max values for each column, ignoring nan, -inf, and inf
mins = [np.nanmin(matrix[:, i][matrix[:, i] != -np.inf]) for i in range(matrix.shape[1])]
maxs = [np.nanmax(matrix[:, i][matrix[:, i] != np.inf]) for i in range(matrix.shape[1])]

# go through matrix one column at a time and replace  + and -infinity 
# with the max or min for that column
for i in range(log_train_arr.shape[1]):
    matrix[:, i][matrix[:, i] == -np.inf] = mins[i]
    matrix[:, i][matrix[:, i] == np.inf] = maxs[i]

thử

mat.sum()

Nếu tổng dữ liệu của bạn là vô cùng (lớn hơn giá trị float tối đa là 3,402823e + 38), bạn sẽ gặp lỗi đó.

xem hàm _assert_all_finite trong validation.py từ mã nguồn scikit:

if is_float and np.isfinite(X.sum()):
    pass
elif is_float:
    msg_err = "Input contains {} or a value too large for {!r}."
    if (allow_nan and np.isinf(X).any() or
            not allow_nan and not np.isfinite(X).all()):
        type_err = 'infinity' if allow_nan else 'NaN, infinity'
        # print(X.sum())
        raise ValueError(msg_err.format(type_err, X.dtype))