Thay thế các giá trị trống (khoảng trắng) bằng NaN trong gấu trúc

Tôi muốn tìm tất cả các giá trị trong khung dữ liệu Pandas có chứa khoảng trắng (bất kỳ số lượng tùy ý nào) và thay thế các giá trị đó bằng NaN.

Bất kỳ ý tưởng làm thế nào điều này có thể được cải thiện?

Về cơ bản tôi muốn biến điều này:

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux     

Vào đây:

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

Tôi đã quản lý để làm điều đó với mã dưới đây, nhưng con người thật xấu xí. Đó không phải là Pythonic và tôi chắc chắn đó cũng không phải là cách sử dụng gấu trúc hiệu quả nhất. Tôi lặp qua từng cột và thực hiện thay thế boolean bằng mặt nạ cột được tạo bằng cách áp dụng hàm thực hiện tìm kiếm regex của từng giá trị, khớp trên khoảng trắng.

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

Nó có thể được tối ưu hóa một chút bằng cách chỉ lặp qua các trường có thể chứa các chuỗi trống:

if df[i].dtype == np.dtype('object')

Nhưng đó không phải là một cải tiến nhiều

Và cuối cùng, mã này đặt các chuỗi mục tiêu thành Không, hoạt động với các chức năng của Pandas như thế fillna(), nhưng sẽ rất tuyệt nếu tôi thực sự có thể chèn NaNtrực tiếp thay vì None.

Tôi nghĩ rằng df.replace()công việc, kể từ gấu trúc 0.13 :

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))

Sản xuất:

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

Như Temak đã chỉ ra, hãy sử dụng df.replace(r'^\s+$', np.nan, regex=True)trong trường hợp dữ liệu hợp lệ của bạn chứa khoảng trắng.

Nếu bạn muốn thay thế một chuỗi trống và các bản ghi chỉ bằng dấu cách, câu trả lời đúng là !:

df = df.replace(r'^\s*$', np.nan, regex=True)

Câu trả lời được chấp nhận

df.replace(r'\s+', np.nan, regex=True)

Không thay thế một chuỗi trống!, Bạn có thể tự thử với ví dụ đã cập nhật một chút:

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'fo o', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', ''],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

Lưu ý rằng 'fo o' không được thay thế bằng Nan, mặc dù nó chứa một khoảng trắng. Lưu ý thêm, đó là một đơn giản:

df.replace(r'', np.NaN)

Nó cũng không hoạt động - hãy thử nó.

Làm thế nào về:

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

Các applymapchức năng áp dụng một chức năng để mỗi tế bào của dataframe.

Tôi sẽ làm điều này:

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

hoặc là

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

Bạn có thể tước tất cả str, sau đó thay thế str trống bằng np.nan.

Đơn giản nhất trong tất cả các giải pháp:

df = df.replace(r'^\s+$', np.nan, regex=True)

Nếu bạn đang xuất dữ liệu từ tệp CSV, nó có thể đơn giản như sau:

df = pd.read_csv(file_csv, na_values=' ')

Điều này sẽ tạo khung dữ liệu cũng như thay thế các giá trị trống như Na

Đối với một giải pháp rất nhanh và đơn giản trong đó bạn kiểm tra sự bằng nhau đối với một giá trị duy nhất, bạn có thể sử dụng maskphương pháp.

df.mask(df == ' ')

Đây là tất cả gần với câu trả lời đúng, nhưng tôi sẽ không nói bất kỳ giải quyết vấn đề trong khi những người khác đọc mã của bạn dễ đọc nhất. Tôi muốn nói rằng câu trả lời là sự kết hợp giữa Câu trả lời của BrenBarn và bình luận của tuomasttik bên dưới câu trả lời đó . Câu trả lời của BrenBarn sử dụng isspacenội dung dựng sẵn, nhưng không hỗ trợ loại bỏ các chuỗi trống, như OP yêu cầu và tôi có xu hướng quy kết đó là trường hợp sử dụng tiêu chuẩn để thay thế chuỗi bằng null.

Tôi viết lại nó với .apply, vì vậy bạn có thể gọi nó trên một pd.Serieshoặc pd.DataFrame.

Con trăn 3:

Để thay thế các chuỗi trống hoặc chuỗi hoàn toàn không gian:

df = df.apply(lambda x: np.nan if isinstance(x, str) and (x.isspace() or not x) else x)

Để thay thế các chuỗi không gian hoàn toàn:

df = df.apply(lambda x: np.nan if isinstance(x, str) and x.isspace() else x)

Để sử dụng điều này trong Python 2, bạn sẽ cần thay thế strbằng basestring.

Con trăn 2:

Để thay thế các chuỗi trống hoặc chuỗi hoàn toàn không gian:

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and (x.isspace() or not x) else x)

Để thay thế các chuỗi không gian hoàn toàn:

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

Điều này làm việc cho tôi. Khi tôi nhập tệp csv của mình, tôi đã thêm na_values ​​= ''. Không gian không được bao gồm trong các giá trị NaN mặc định.

df = pd.read_csv (filepath, na_values ​​= '')

bạn cũng có thể sử dụng bộ lọc để làm điều đó.

df = PD.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '])
    df[df=='']='nan'
    df=df.astype(float)

print(df.isnull().sum()) # check numbers of null value in each column

modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"

# modifiedDf = fd.dropna() # Remove rows with empty values

print(modifiedDf.isnull().sum()) # check numbers of null value in each column

Đây không phải là một giải pháp tao nhã, nhưng những gì dường như hoạt động là tiết kiệm cho XLSX và sau đó nhập lại. Các giải pháp khác trên trang này không hiệu quả với tôi, không biết tại sao.

data.to_excel(filepath, index=False)
data = pd.read_excel(filepath)