Tôi cần tính số phần tử không phải NaN trong ma trận ndarray không có cấu trúc. Làm cách nào để thực hiện điều này một cách hiệu quả trong Python? Đây là mã đơn giản của tôi để đạt được điều này:

import numpy as np

def numberOfNonNans(data):
    count = 0
    for i in data:
        if not np.isnan(i):
            count += 1
    return count 

Có một chức năng tích hợp cho việc này trong numpy không? Hiệu quả rất quan trọng vì tôi đang thực hiện phân tích Dữ liệu lớn.

Thnx cho bất kỳ sự giúp đỡ!

np.count_nonzero(~np.isnan(data))

~đảo ngược ma trận boolean được trả về từ đó np.isnan.

np.count_nonzerođếm các giá trị không phải là 0 \ false. .sumnên cho kết quả tương tự. Nhưng có thể rõ ràng hơn để sử dụngcount_nonzero

Tốc độ kiểm tra:

In [23]: data = np.random.random((10000,10000))

In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan

In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop

In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop

In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop

data.size - np.count_nonzero(np.isnan(data))dường như hầu như không phải là nhanh nhất ở đây. dữ liệu khác có thể cho kết quả tốc độ tương đối khác nhau.

Viết nhanh thay đổi

Mặc dù không phải là lựa chọn nhanh nhất, nhưng nếu hiệu suất không phải là vấn đề, bạn có thể sử dụng:

sum(~np.isnan(data)).

Hiệu suất:

In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop

In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop

In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop

Để xác định xem mảng có thưa thớt hay không, có thể giúp lấy một tỷ lệ các giá trị nan

np.isnan(ndarr).sum() / ndarr.size

Nếu tỷ lệ đó vượt quá một ngưỡng, thì hãy sử dụng một mảng thưa thớt, ví dụ - https://sparse.pydata.org/en/latest/

Một giải pháp thay thế, nhưng chậm hơn một chút là thực hiện nó qua việc lập chỉ mục.

np.isnan(data)[np.isnan(data) == False].size

In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop 

Việc sử dụng kép np.isnan(data)và ==toán tử có thể hơi quá mức cần thiết và vì vậy tôi chỉ đăng câu trả lời cho đầy đủ.